win10上部署Hadoop-2.7.3——非Cygwin、非虛擬機

　　開始接觸Hadoop，聽人說一般都是在Lunix下部署Hadoop，但是本人Lunix不是很了解，所以Google以下如何在Win10下安裝Hadoop（之后再在Lunix下弄），找到不少文章，以下是主要參考的文章：

　　1、Hadoop installation on windows without cygwin in 10 mints

　　2、Win10系統安裝Hadoop與Hbase

　　3、Apache Hadoop for Windows Platform

　　這里是按照第一篇文章操作的。

　　一、安裝jdk，地址為http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html  具體的操作以及配置環境變量這里就不演示了，這里有一點需要注意的是默認會安裝在C:\Program Files 下，開始我也是安裝在這里，但是后來報錯了，報什么“JAVA_HOME”的錯誤具體的記不清了。查了一下說是因為安裝路徑中有空格，暈了，所以安裝在如下目錄：

　　二、下載Hadoop，地址為 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/  這里選擇的是hadoop-2.7.3.tar.gz

　　三、將其解壓到某一文件夾，這里為D:\hadoop\hadoop-2.7.3

　　四、添加“HADOOP_HOME”環境變量，並添加到Path環境變量中，按照下圖操作

　　五、修改Hadoop配置文件，在這之前你要先下載sardetushar_gitrepo_download ，之后解壓，刪掉D:\hadoop\hadoop-2.7.3目錄下的bin、etc文件夾，用剛剛解壓的替換。

　　1、D:\hadoop\hadoop-2.7.3\etc\hadoop\core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

　　2、D:\hadoop\hadoop-2.7.3\etc\hadoop\mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

　　3、D:\hadoop\hadoop-2.7.3\etc\hadoop\hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
       <name>dfs.namenode.name.dir</name>
       <value>/hadoop/data/namenode</value>
    </property>
    <property>
       <name>dfs.datanode.data.dir</name>
       <value>/hadoop/data/datanode</value>
    </property>
</configuration>

　　這個配置這里要感謝一下這篇帖子：http://stackoverflow.com/questions/34871814/failed-to-start-namenode-in-hadoop  按照第一篇教程配置會出錯的！！！

　　如果你的路徑形如d:/hadoop/data/namenode 就會出現上圖錯誤，如果路徑是在E:，那么上圖中的異常就會是E

　　4、D:\hadoop\hadoop-2.7.3\etc\hadoop\yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

　　5、D:\hadoop\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd （修改JDK的安裝路徑）

　　六、格式化HDFS文件系統，hdfs namenode -format      如下圖，

　　如果這一步沒有什么異常基本沒有問題了。

　　七、在命令行（管理員）將目錄指向D:\hadoop\hadoop-2.7.3\sbin，鍵入“start-all”

　　Namenode、Datanode、YARN resourcemanager、YARN nodemanager四個進程啟動成功，再看一下網站截圖：

　　localhost:8088

　　localhost:50070

　　最后我們可以使用“stop-all”停止Hadoop

　　至此，Hadoop部署已經結束。第一次接觸還是挺興奮的！