Windows 搭建Hadoop 2.7.3開發環境

1、安裝配置Java環境

1.1、安裝Windows版本的jkd應用程序

當前的系統環境是64位Windows 7，因此下載64位JDK，下載地址：http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-windows-x64.exe

下載后直接點擊安裝，默認的安裝位置為：C:\Java\jdk

1.2、配置Java環境變量

1. 鼠標右鍵 "我的電腦"-->"屬性"
2. 點擊左邊 "高級系統設置"-->"環境變量"
3. 增加JAVA_HOME變量，在系統變量點擊 "新建"
   1. 變量：JAVA_HOME
   2. 變量值：C:\Java\jdk
4. 在path上增加java安裝路徑，找到path點擊"編輯"
   1. 在最后增加:;%JAVA_HOME%\bin;%JAVA_HOME%\lib;%JAVA_HOME%\jre\bin
5. 增加CLASSPATH
   1. 變量：CLASSPATH
   2. 變量值：%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

java的環境變量設置完成后，在命令提示符輸入命令檢查：java -version
如果輸出java信息說明環境設置完成；

2、安裝配置Hadoop

2.1、下載安裝Hadoop

下載Hadoop 2.7.3，下載地址：找到2.7.3版本，下載hadoop-2.7.3.tar.gz

將下載的hadoop-2.7.3.tar.gz解壓移動到：C:\Usr\local\

2.2、配置Hadoop

2.2.1、配置Hadoop環境變量

1. 配置Hadoop環境變量：HADOOP_HOME，方法參照java
2. 新建HADOOP_CONF_DIR變量：變量值：%HADOOP_HOME%\etc\hadoop
3. 新建YARN_CONF_DIR變量：變量值：%HADOOP_CONF_DIR%
4. 配置Hadoop path變量：%HADOOP_HOME%/bin

2.2.2、配置Hadoop配置文件

Hadoop配置文件存放在：C:\Usr\local\hadoop-2.7.3\etc\hadoop,在C:\Usr\local\hadoop-2.7.3目錄下創建文件夾hdfs/{datanode,namenode}

2.2.2.1、 配置core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

2.2.2.2、 配置hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/C:/Usr\local/hadoop-2.7.3/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/C:/Usr/local/hadoop-2.7.3/hdfs/datanode</value> </property> </configuration>

2.2.2.3、 配置mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

2.2.2.4、 配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property </configuration>

2.2.2.5、 配置slaves

localhost

2.2.2.6、 配置hadoop-env.cmd

將JAVA_HOME修改為：
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_131並在后面追加如下設置：

set HADOOP_IDENT_STRING=%USERNAME% set HADOOP_PREFIX=C:\Usr\local\hadoop-2.7.3 set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%\bin

注：C:\PROGRA~1 用於替代 C:\Program Files

2.3、替換Hadoop windows可執行程序

下載winutils相關，hadoop在windows上運行需要winutils支持和hadoop.dll等文件。下載地址下載對應版本的就可以，例如我用的是2.7.3，可以直接下載2.7.1的就好。然后把winutils.exe和hadoop.dll復制到hadoop的bin目錄下;

2.4、啟動Hadoop

1.格式化HDFS
打開cmd

cd c:\usr\local\hadoop-2.7.3\bin hdfs namenode -format

2.啟動Hadoop
打開cmd

cd c:\usr\local\hadoop-2.7.3\sbin start-all.cmd

YARN管理界面：http://localhost:8088
HDFS管理界面：http://localhost:50070

3.簡單的HDFS操作

查看信息：
hadoop fs -ls hdfs://localhost:9000/

創建目錄：
· hadoop fs -lmkdir hdfs://localhost:9000/user/wc·

上傳文件：
hadoop fs -put C:\Usr\local\hadoop\LICENSE.txt hdfs://localhost:9000/user/wc