3. 在windows10 下安装hadoop

本文转载自查看原文 2019-01-06 10:37 1742 JAVA编程

一、准备工作

（一）参考

1. Build and Install Hadoop 2.x or newer on Windows

2. Step by step Hadoop 2.8.0 installation on Window 10

3. win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

（二）工具

1. JDK：jdk1.8.0（已安装）

2. HADOOP：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

3. winutils：sardetushar_gitrepo_download

二、配置工作环境

1. java环境：C:\PROGRA~1\Java\jdk1.8.0_161

2. hadoop环境：F:\tools\hadoop\windows\hadoop-2.9.2

3. 将winutils中的bin、etc文件夹，覆盖hadoop-2.9.2中的bin、etc

4. 检查etc\hadoop中以下文件的配置情况

（1）core.site.xml（配置默认hdfs的访问端口）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

（2）hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

（3）mapred-site.xml （设置mr使用的框架，这里使用yarn）

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）yarn-site.xml（这里yarn设置使用了mr混洗）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

（5）hadoop-env.cmd（设置JAVA_HOME的值，如果这里使用了带空格的Program Files路径将会报错）

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_161

三、格式化hdfs

在cmd中运行命令 hdfs namenode -format