3. 在windows10 下安裝hadoop

本文轉載自查看原文 2019-01-06 10:37 1742 JAVA編程

一、准備工作

（一）參考

1. Build and Install Hadoop 2.x or newer on Windows

2. Step by step Hadoop 2.8.0 installation on Window 10

3. win10上部署Hadoop-2.7.3——非Cygwin、非虛擬機

（二）工具

1. JDK：jdk1.8.0（已安裝）

2. HADOOP：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

3. winutils：sardetushar_gitrepo_download

二、配置工作環境

1. java環境：C:\PROGRA~1\Java\jdk1.8.0_161

2. hadoop環境：F:\tools\hadoop\windows\hadoop-2.9.2

3. 將winutils中的bin、etc文件夾，覆蓋hadoop-2.9.2中的bin、etc

4. 檢查etc\hadoop中以下文件的配置情況

（1）core.site.xml（配置默認hdfs的訪問端口）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

（2）hdfs-site.xml（設置復制數為1，即不進行復制。namenode文件路徑以及datanode數據路徑。）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

（3）mapred-site.xml （設置mr使用的框架，這里使用yarn）

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）yarn-site.xml（這里yarn設置使用了mr混洗）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

（5）hadoop-env.cmd（設置JAVA_HOME的值，如果這里使用了帶空格的Program Files路徑將會報錯）

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_161

三、格式化hdfs

在cmd中運行命令 hdfs namenode -format