Windows7單機部署Hadoop

• 檢查/安裝JDK1.8

　　　　這個安裝及環境變量的配置就不再贅述了。

　　　　

• 下載Hadoop包

　　　下載地址是http://archive.apache.org/dist/hadoop/core/    我這里選擇的是2.5.1的版本

             

• 解壓Hadoop包，並添加環境變量。

　　　　將上面下載好的Hadoop包解壓到一個目錄，因為后期要上傳數據，建議選擇一個剩余存儲空間比較大的目錄。

　　　　

　　　　設置環境變量 HADOOP_HOME="F:\hadoop\hadoop-2.5.1"

　　　　

　　　　將該路徑"%HADOOP_HOME%\bin"添加到系統路徑path中

　　　　

• 下載window util for hadoop

　　　下載地址是：https://codeload.github.com/gvreddy1210/bin/zip/master，注意該工具的版本與Hadoop版本的需要兼容，下載完成后解壓覆蓋到上述路徑的bin目錄下，例如：F:\hadoop\hadoop-2.5.1\bin。

• 創建DataNode和NameNode

　　  創建 Data目錄和Name目錄，用來存儲數據，例如：F:\hadoop\hadoop-2.5.1\data\datanode和F:\hadoop\hadoop-2.5.1\data\namenode。

• 修改Hadoop相關的配置文件

　　 主要修改四個配置文件：core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml,，這四個文件的路徑為：F:\hadoop\hadoop-2.5.1\etc\hadoop。修改的 內容如下：

• • core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

• • hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/F:/hadoop/hadoop-2.5.1/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/F:/hadoop/hadoop-2.5.1/data/datanode</value>
    </property>
</configuration>

• • mapred-site.xml

<configuration>
  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• • yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
    </property>

</configuration>

　　　　注意：注意把上面涉及的路徑改成你自己的路徑。

• 初始化節點

　　進入到hadoop\bin目錄下，執行命令：hadoop namenode -format

　　　

• 啟動Hadoop

　　完成上面的初始化工作后，就可以啟動Hadoop了，進入到hadoop\sbin目錄下，執行命令：start-all(關閉命令是 stop-all)

　　

　　出現下面四個窗口后，說明開始啟動了

　　

•  檢查是否啟動成功

　　執行命令 jsp

　　

　　出現以上幾個java進程，說明啟動成功了。

　　HDFS文件系統地址：http://localhost:50070

　　

　　至此部署完成。