Windows下的Hadoop安裝（本地模式）

---

時隔許久的博客。。
系統為Windows 10，Hadoop版本2.8.3。

雖然之前已經在Linux虛擬機上成功運行了Hadoop，但我還是在Windows上編碼更加習慣，所以嘗試了在Window上安裝。

這里主要是歸納出安裝過程的簡要步驟和可能碰到的問題。

有兩點要先注意的：

Java和Hadoop的路徑最好不要帶空格，如果安裝在如Program Files這樣帶空格的文件夾下，使用路徑時可用類似PROGRA~1來代替。

Localhost url不要與已有的沖突，如DLNA。

• winutils
• 環境變量
• 配置文件
• hadcoop-env.cmd
• core-site.xml
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml
• Let's Hadoop

---

winutils

除了Hadoop和JDK外,還要下載的一套第三方類庫winutils, 下載地址:

https://github.com/steveloughran/winutils

注意：Hadoop與winutils的版本要相對應。

照着列表找到想用的Hadoop，clone一個到本地，把里面所有的文件都覆蓋到Hadoop目錄的bin子目錄下去。

---

環境變量

我基本是能添的都添了。。

以及path中

其實不一定要都加，實測可以只在path中加入Hadoop的bin，Java可以在hadcoop-env.cmd另行設置。

---

配置文件

• hadcoop-env.cmd
• core-site.xml
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml

---

hadcoop-env.cmd

位於Hadoop的etc/hadoop下，設置JAVA_HOME。

set JAVA_HOME=JDK路徑

---

core-site.xml

位於Hadoop的etc/hadoop下，通用配置。
其中tmp.dir和localhost url需自己設置。

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop-2.8.3/tmp</value> 
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:8000</value>
    </property>
</configuration>

---

hdfs-site.xml

位於Hadoop的etc/hadoop下，HDFS有關配置。
其中name.dir和data.dir需自己預先建立。

<configuration>
<!-- 參數設置為1，單機的hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop-2.8.3/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop-2.8.3/data</value>
    </property>
</configuration>

---

mapred-site.xml

位於Hadoop的etc/hadoop下，MapReduce有關配置。
mapred-site.xml.template去掉template后綴名。
其中localhost url需自行設置。

<configuration>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:8001</value>
    </property>
</configuration>

---

yarn-site.xml

位於Hadoop的etc/hadoop下，yarn有關配置。

<property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

---

Let's Hadoop

自行小黑窗或小藍窗。

cd D:/hadoop-2.8.3/bin
hadoop namenode -format  #一定先要格式化hdfs!!!!!

cd D:/hadoop-2.8.3/sbin

start-dfs.cmd   #先啟動dfs
start-yarn.cmd  #再啟動yarn
      
start-all.cmd  #等於上面兩條命令的組合
  
stop-dfs.cmd
stop-yarn.cmd

stop-all.cmd

效果圖