Windows10+eclipse+hadoop2.7.1環境配置+wordcount-折騰筆記

剛用Ambari搭建好Hadoop，就開始寫Hello World!

一、背景

1、Hadoop版本

經查看為2.7.1

 

 

 

 

 

Shell

 

1 2 3 4 5 6 7

[root@TJ1-000 ~]# hadoop version Hadoop 2.7.1.2.4.0.0-169 Subversion [e-mail]:hortonworks/hadoop.git -r 26104d8ac833884c8776473823007f176854f2eb Compiled by jenkins on 2016-02-10T06:18Z Compiled with protoc 2.5.0 From source with checksum cf48a4c63aaec76a714c1897e2ba8be6 This command was run using /usr/hdp/2.4.0.0-169/hadoop/hadoop-common-2.7.1.2.4.0.0-169.jar

 

二、基礎環境配置

1、jdk環境配置

正常步驟，略

2、eclipse環境配置

正常步驟，略

3、下載hadoop-2.7.1.tar.gz文件

文件名：hadoop-2.7.1.tar.gz

用途：hadoop庫，用於支持eclipse編譯map/reduce源代碼

下載地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

4、下載hadoop-2.7.1-src.tar.gz文件

文件名：hadoop-2.7.1-src.tar.gz

用途：hadoop源文件，用於尋找wordcount源程序

下載地址：hadoop-2.5.2-src.tar.gz: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1-src.tar.gz

5、hadoop-eclipse-plugin-2.7.1.jar

文件名：hadoop-eclipse-plugin-2.7.1.jar

用途：eclipse開發hadoop插件

下載地址：http://download.csdn.net/detail/tondayong1981/8889075

6、下載winutils for hadoop-2.7.1組件

文件夾名： winutils-master\hadoop-2.7.1

用途：我也不知道，反正如果沒有的話，就不能連接Hadoop跑程序

下載地址：https://github.com/steveloughran/winutils

三、編輯環境變量

1、添加環境變量

1）添加HADOOP_HOME，值為：目錄名\hadoop-2.7.1\

PS:hadoop-2.7.1目錄為hadoop-2.7.1.tar.gz解壓后的文件夾名稱。
2）追加環境變量path內容：%HADOOP_HOME%/bin

2、添加eclipse組件

將hadoop-eclipse-plugin-2.7.1.jar復制到eclipse\plugins目錄下

四、eclipse配置

1、打開菜單Window–Preference–Hadoop Map/Reduce進行配置，如下圖所示：

2、顯示Hadoop連接配置窗口：Window–Show View–Other-MapReduce Tools,如下圖所示：

3、在打開的Map/Reduce Locations中連接Hadoop

Map/Reduce Master與DFS master的IP、端口信息可以查看Hadoop服務器上的core-site Hadoop配置文件。

PS:博主是通過Ambari安裝的Hadoop，所以在Ambari管理面板上直接查看即可。

如果連接成功，則應為：

五、Hadoop集群環境創建wordcount測試文件

1、在HDFS上創建輸入文件夾input

2、在本地創建測試輸入文件

3、上傳測試文件到HDFS

PS:博主的input目錄的完整路徑為：/user/hadoop/input

 

六、在eclipse創建Map/Reduce Project

1、新建項目

點擊File–New–Other–Map/Reduce Project 命名為HadoopTest

2、新建WordCount.java文件

文件內容從：hadoop-2.7.1-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java

直接復制即可

3、創建log4j.properties文件

在src目錄下創建log4j.properties文件，內容如下：

 

 

 

 

 

Shell

 

1 2 3 4 5 6 7 8 9 10 11

log4j.rootLogger=debug,stdout,R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n log4j.appender.R=org.apache.log4j.RollingFileAppender log4j.appender.R.File=mapreduce_test.log log4j.appender.R.MaxFileSize=1MB log4j.appender.R.MaxBackupIndex=1 log4j.appender.R.layout=org.apache.log4j.PatternLayout log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n log4j.logger.com.codefutures=DEBUG

 

七、Windows運行環境配置

從winutils-master\hadoop-2.7.1目錄中直接拷貝bin文件夾，覆蓋掉hadoop-2.7.1/文件夾中的bin目錄即可。

八、運行Project

1、在eclipse中點擊WordCount.java，右鍵，點擊Run As—>Run Configurations，配置運行參數，即輸入和輸出文件夾

 

 

 

 

 

Shell

 

1	hdfs://192.168.2.50:8020/user/hadoop/input hdfs://192.168.2.50:8020/user/hadoop/output44

2、Debug

1）點擊Debug進行調試

2）點擊Debug標簽，打開Debug詳情頁

3、查看運行結果

九、異常與問題

1、DFS中文件不能打開，提示：Editor could not be initialized

如圖：

解決方法：winutils組件版本不對，更新了2.7.1對應版本，問題解決。

2、HDFS權限問題

百度即可

–