一. Windows10環境下安裝
1. 下載安裝JDK1.8,並配置環境變量,注意:JAVA_HOME環境變量配置的路徑不要包含空格,C盤中的Program Files目錄名稱可用PROGRA~1代替即
2. 下載Hadoop鏡像安裝文件,下載地址:鏡像文件

3. 解壓Hadoop鏡像文件到磁盤目錄下,注意:可以解壓在非C盤下,存儲目錄不要包含中文和空格
4. 配置HADOOP_HOME環境變量,並在系統環境變量Path中添加Hadoop環境變量


5. 打開cmd窗口,輸入hadoop version命令驗證

備注: 若出現 Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd的報錯,則是因為JAVA_HOME環境變量配置的路徑含有空格的原因,請參考步驟1
6. Hadoop偽分布式部署配置
a. 下載windows專用二進制文件和工具類依賴庫: hadoop在windows上運行需要winutils支持和hadoop.dll等文件
https://github.com/steveloughran/winutils
在github倉庫中找到對應版本的二進制庫hadoop.dll和winutils.exe文件,然后把文件拷貝到hadoop解壓的bin目錄中去
注意: hadoop.dll等文件不要與hadoop沖突,若出現依賴性錯誤可以將hadoop.dll放到C:\Windows\System32下一份
b. 修改etc目錄下的core-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data/dfs/datanode</value>
</property>
</configuration>
注意:windows目錄路徑要改成使用正斜杠,且磁盤名稱最前面也需要一個正斜杠
c. 修改hdfs-site.xml配置文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data</value>
<description>存放臨時數據的目錄,即包括NameNode的數據</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
注意:windows目錄路徑要改成使用正斜杠,且磁盤名稱最前面也需要一個正斜杠
d. 節點格式化
在cmd窗口執行命令:hdfs namenode -format
執行成功結果:


7. 啟動&關閉Hadoop
a. 進入Hadoop的sbin目錄下執行start-dfs.cmd啟動Hadoop
b. Web界面查看HDFS信息,在瀏覽器輸入http://localhost:9870/,可訪問NameNode
