前言

准備：

7Zip下載：壓縮工具，支持*.tar.gz格式的壓縮文件解壓

Hadoop下載：http://archive.apache.org/dist/hadoop/core/，筆者選擇3.0.0版本下載，官網下載的網速如同斷網。。。

winutils下載：https://github.com/steveloughran/winutils，Hadoop不直接支持Windows，使用工具集進行支持。

JDK1.8及其以上版本，自行安裝，並配置JAVA_HOME環境變量。

1. 文件准備

hadoop3.0.0：

a. 將原始hadoop-3.0.0下bin目錄備份;

b. 使用winutils中的bin目錄整個替換hadoop中的bin目錄：

c. 在hadoop-3.0.0下按目錄創建如下文件夾：

JDK1.8:

2. 配置准備

2.1 配置環境變量：

2.2 編輯hadoop配置文件

a. hadoop配置文件目錄：

b. 配置hadoop-env.cmd, 這里將JAVA_HOME換成絕對目錄(不確定不換可不可以)

c. core-site.xml 添加如下配置

1 <configuration>
2     <property>
3        <name>fs.default.name</name>
4        <value>hdfs://localhost:9000</value>
5    </property>
6 </configuration>

d. hdfs-site.xml添加如下配置

 1 <configuration>
 2     <property>
 3         <name>dfs.replication</name>
 4         <value>1</value>
 5     </property>
 6     <property> 
 7      <name>dfs.permissions</name> 
 8      <value>false</value> 
 9     </property>
10    <property>
11        <name>dfs.namenode.name.dir</name>
12        <value>/D:/hadoop-3.0.0/data/namenode</value>
13    </property>
14    <property>
15         <name>fs.checkpoint.dir</name>
16         <value>/D:/hadoop-3.0.0/data/snn</value>
17     </property>
18     <property>
19         <name>fs.checkpoint.edits.dir</name>
20         <value>/D:/hadoop-3.0.0/data/snn</value>
21     </property>
22        <property>
23        <name>dfs.datanode.data.dir</name>
24        <value>/D:/hadoop-3.0.0/data/datanode</value>
25    </property>
26 
27 </configuration>

e. mapred-site.xml添加如下配置

1 <configuration>
2     <property>
3        <name>mapreduce.framework.name</name>
4        <value>yarn</value>
5    </property>
6 
7 </configuration>

f. yarn-site.xml添加如下配置

 1 <configuration>
 2 <!-- Site specific YARN configuration properties -->
 3    <property>
 4         <name>yarn.nodemanager.aux-services</name>
 5         <value>mapreduce_shuffle</value>
 6    </property>
 7    <property>
 8           <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
 9     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
10    </property>
11 </configuration>