Hadoop伪分布式模式安装


 

伪分布式模式是适合配置较低的,只有一台机器的学习情况,配置和完全分布模式的配置一样,所以是适合一种学习的模式。

 

注意:配置信息都要用复制,避免标签敲错造成的不良后果

 

修改配置文件

伪分布式模式配置步骤:

1、配置hadoop-env.sh

修改hadoop的环境为JAVA_HOME,来到etc/hadoop/的配置目录下,有很多配置文件

image.png

 

image.png

 

image.png

 

image.png

这样是为了避免远程操作时的路劲错误

 

2、配置core-site.xml

fs.defaultFS            指定HDFS中NameNode的地址

hadoop.tmp.dir      指定Hadoop运行时产生文件的存储目录

 

module 之前创建的目录是moduel ,将错就错吧,下面的存储目录要改成moduel

 

<!-- 指定HDFS中NameNode的地址 -->
<property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property> 

 

image.png

 

image.png

 

 

解释一下:hadoop101,是NameNode结点的地址

image.png

在hosts配置文件中,指定了hadoop101代表的ip地址

image.png

 

 

 

3、配置hdfs-site.xml

dfs.replication  指定HDFS副本的数量

 

<!-- 指定HDFS副本的数量 -->
<property> <name>dfs.replication</name> <value>1</value> </property> 

 

image.png

 

image.png

 

启动集群

1、格式化NameNode(第一次搭建集群的时候,就是刚开始的时候格式化一下,以后就不要格式化了)

image.png

image.png

 

大致看一下信息,没报什么错(第一次用肯定没什么问题)

常见问题:如果以前格式化过之后,会提示是否继续格式化

 

2、启动NameNode

image.png

 

3、启动DataNode

image.png

 

 

查看集群

 

4、查看当前运行进程

image.png

 

注意:jps是JDK中的命令,不是Linux命令。不安装JDK不能使用jps

 

5、web访问HDFS文件系统

在宿主机的任意浏览器输入192.168.178.100:50070

就是你的虚拟机的ip加上50070端口

image.png

不能访问可能是防火墙的问题

bash systemctl stop firewalld 

关闭防火墙服务

 

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM