Hadoop偽分布式模式安裝

 

偽分布式模式是適合配置較低的，只有一台機器的學習情況，配置和完全分布模式的配置一樣，所以是適合一種學習的模式。

 

注意：配置信息都要用復制，避免標簽敲錯造成的不良后果

 

修改配置文件

偽分布式模式配置步驟：

1、配置hadoop-env.sh

修改hadoop的環境為JAVA_HOME，來到etc/hadoop/的配置目錄下，有很多配置文件

 

 

 

這樣是為了避免遠程操作時的路勁錯誤

 

2、配置core-site.xml

fs.defaultFS            指定HDFS中NameNode的地址

hadoop.tmp.dir      指定Hadoop運行時產生文件的存儲目錄

 

module 之前創建的目錄是moduel ，將錯就錯吧，下面的存儲目錄要改成moduel

 

<!-- 指定HDFS中NameNode的地址 -->
<property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value> </property> <!-- 指定Hadoop運行時產生文件的存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property> 

 

 

 

 

解釋一下：hadoop101，是NameNode結點的地址

在hosts配置文件中，指定了hadoop101代表的ip地址

 

 

 

3、配置hdfs-site.xml

dfs.replication  指定HDFS副本的數量

 

<!-- 指定HDFS副本的數量 -->
<property> <name>dfs.replication</name> <value>1</value> </property> 

 

 

 

啟動集群

1、格式化NameNode（第一次搭建集群的時候，就是剛開始的時候格式化一下，以后就不要格式化了）

 

大致看一下信息，沒報什么錯（第一次用肯定沒什么問題）

常見問題：如果以前格式化過之后，會提示是否繼續格式化

 

2、啟動NameNode

 

3、啟動DataNode

 

 

查看集群

 

4、查看當前運行進程

 

注意：jps是JDK中的命令，不是Linux命令。不安裝JDK不能使用jps

 

5、web訪問HDFS文件系統

在宿主機的任意瀏覽器輸入192.168.178.100:50070

就是你的虛擬機的ip加上50070端口

不能訪問可能是防火牆的問題

bash systemctl stop firewalld 

關閉防火牆服務