Hadoop 偽分布式模式配置

偽分布式模式：

　　存儲采用分布式文件系統HDFS，但HDFS的名稱節點和數據節點都在同一台機器上

配置步驟：

• 修改core-site.xml、hdfs-site.xml配置文件
• 執行名稱節點格式化
• 啟動 Hadoop
• Web查看Hdfs信息
• 關閉 Hadoop
• 配置環境變量

---

 

1. 修改core-site.xml、hdfs-site.xml配置文件

core-site.xml、hdfs-site.xml兩個配置文件位於hadoop/etc/hadoop目錄下

hadoop@zq:/usr/local/hadoop/etc/hadoop$ ls capacity-scheduler.xml            kms-log4j.properties ...... ...... ...... core-site.xml                     mapred-env.cmd ...... ...... ...... hdfs-site.xml                     ssl-server.xml.example ....... ...... ...... hadoop@zq:/usr/local/hadoop/etc/hadoop$     

修改core-site.xml文件的內容，將 <configuration> </configuration> 中添加屬性對添加如下內容：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同理，修改配置文件hdfs-site.xml，修改后的內容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

 

2. 執行名稱節點格式化

hadoop@zq:/usr/local/hadoop/etc/hadoop$ cd /usr/local/hadoop/bin hadoop@zq:/usr/local/hadoop/bin$ ./hdfs namenode -format

顯示格式化成功

 

3. 啟動 Hadoop

跳到/usr/local/hadoop/sbin路徑下，啟動 Hadoop

hadoop@zq:/usr/local/hadoop/sbin$ ./start-dfs.sh

 

4. Web查看Hdfs信息

打開瀏覽器，輸入地址：localhost:9870

注意：如果用的是虛擬機，在虛擬機的瀏覽器中本地鏈路訪問，在Windows的瀏覽器中訪問是訪問不到的

 

5. 關閉Hadoop

hadoop@zq:/usr/local/hadoop/sbin$ ./stop-dfs.sh

 

6. 配置環境變量

# 編輯環境變量 hadoop@zq:~$ vim ~/.bashrc

在.bashrc文件中追加一行

export PATH=$PATH:/usr/local/hadoop/sbin

# 使環境變量設置生效 hadoop@zq:~$ source ~/.bashrc

環境變量設置成功后，執行命令時系統會從環境變量路徑中查找命令，即可以在任何路徑使用命令

例如這里實在hadoop用戶目錄下，而不用再特意到 /usr/local/hadoop/sbin/ 路徑下執行命令