Hadoop2.7.4 在 Windows 10(64位) 詳細配置

　　網上查詢資料，實際配置后整理記錄。

一、下載安裝配置 1.8.0 以上版本 java 環境

　　完成后，使用 java -version 命令查看是否成功。

　　

二、下載 hadoop-2.7.4.tar.gz 

　　地址：http://hadoop.apache.org/releases.html

　　

　　將文件解壓至無空格目錄下即可，下面是目錄結構：

　　

 　　文件夾訪問權限修改，添加(Everyone)完全控制權限

　　

三、下載 Hadoop 2.7.4 Windows 64位 編譯bin

　　網上提供的下載地址：http://download.csdn.net/download/a2728196/9966285

　　將壓縮包里的 bin 目錄下文件替換官網 hadoop 目錄下的 bin 目錄。

四、配置所需系統環境變量

　　1、新建 HADOOP_HOME，如下圖 ：

　　

　　2、Path 變量中 新建，如下圖：

　　

　　3、新建 HADOOP_CONF_DIR，如下圖 ：

　　

　　4、測試是否配置成功

　　打開 cmd 窗口，執行 hadoop version，如下圖：

　　

五、修改 Hadoop 配置文件(namenode,datanode運行讀取)

　　注意：

　　配置文件里windows所有盤符前要加/,比如: /D:/XXXXXXXXXX

　　編輯“ D:\SDE\Hadoop2.7.4\etc\hadoop ”下的配置文件，參考配置如下：

 　　1、core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!--指定namenode的地址-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:8010</value>
    <description>HDFS的URI，文件系統://namenode標識:端口號</description>
  </property>
  <!--用來指定使用hadoop時產生文件的存放目錄-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/D:/SDE/Hadoop2.7.4/workplace/tmp</value>
    <description>namenode上本地的hadoop臨時文件夾</description>
   </property>
</configuration>

　　2、hdfs-site.xml:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!--指定hdfs保存數據的副本數量-->
  <property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本個數，配置默認是3,應小於datanode機器數量</description>
  </property>

  <property>
    <name>dfs.name.dir</name>
    <value>/D:/SDE/Hadoop2.7.4/workplace/name</value>
    <description>namenode上存儲hdfs名字空間元數據 </description>
  </property>

  <property>
    <name>dfs.data.dir</name>
    <value>/D:/SDE/Hadoop2.7.4/workplace/data</value>
    <description>datanode上數據塊的物理存儲位置</description>
  </property>
</configuration>

　　3、mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--告訴hadoop以后MR運行在YARN上--> 
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

</configuration>

　　4、yarn-site.xml

<?xml version="1.0"?>
<configuration>

<!--nomenodeManager獲取數據的方式是shuffle-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

<!--指定Yarn的老大(ResourceManager)的地址-->   
<!--****************-->  

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property> 
</configuration>

六、啟動

　　1、cmd 執行 hdfs namenode -format 指令格式化系統文件。

　　2、格式化完成后，到 hadoop/sbin 目錄下執行 start-dfs  或  start-all 指令，啟動hadoop

　　

　　使用 start-dfs 會啟動 namenode 和 datanode 進程，如下圖：

　　

　　使用 start-yarn 會啟動 resourcemanager 和 nodemanager 進程，如下圖：

　　

　　使用 start-all 會啟動全部 4 個進程，如下圖：

　　

　　注意：This script is Deprecated（棄用）. Instead use start-dfs.cmd and start-yarn.cmd starting yarn daemons

 

　　3、訪問：http://localhost:50070，如圖:

　　

　　

　　

　　 

　　至此，hadoop 服務搭建完畢。