Hadoop2.x的Eclipse插件編譯與安裝

　　Eclipse的Hadoop插件在開發hadoop應用程序中可以提供一些很方便的操作，可以直接Eclipse中瀏覽HDFS上的文件，可以直接新建選擇MapReduce項目，項目自動包含所有需要的hadoop jar包，不必再手動拷貝。

一、安裝Ant工具

 　  Ant是一種Java的項目打包管理工具，類似於Maven，操作比Maven簡單。本次Eclipse Hadoop插件使用Ant進行編譯，如果本機已安裝Ant，請略過這一步驟。

1、下載Ant

　  到官網（http://ant.apache.org/bindownload.cgi)下載最新的Ant包，本實驗版本：apache-ant-1.9.5-bin.zip。

2、配置環境變量

　  1) Windows：① 環境變量新增：ANT_HOME=D:\apache-ant-1.9.5；② classpath新增：%ANT_HOME%\lib；③ path新增：%ANT_HOME%\lib。

　  2) Linux：① /etc/profile新增：export ANT_HOME=/usr/local/ant；② 執行命令：source /etc/profile。

　  驗證安裝：ant -version

二、使用ant編譯插件

1、下載hadoop2.x插件

　  https://github.com/hduhans/hadoop2x-eclipse-plugin-master

2、開始編譯

　  1) 打開命令行，進入插件解壓后src/contrib/eclipse-plugin目錄中；

　  2) 執行編譯命令：ant jar -Dversion=2.6.0 -Declipse.home=D:\desktop\eclipse -Dhadoop.home=D:\desktop\hadoop-2.6.0；

　  　 其中Declipse.home為ecipse根目錄，Dhadoop.home為hadoop根目錄。

　  3) 等待編譯成功，出現如下“BUILD SUCCESSFUL”提示文字，說明編譯成功；

 　 　 編譯成功的jar包位於：build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar

三、在Eclipse中添加編譯生成的jar插件

1、將編譯后的 build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar 拷貝到 eclipse/plugins 目錄中，重啟eclipse；

2、在eclipse菜單中選擇 windows → show view → other ，在彈出的對話框中選擇“Map/Reduce Locations”，點擊確定；

3、在控制台的“Map/Reduce Locations”頁簽空白處點擊右鍵，選擇“New Hadoop location”，填寫參數，如下所示：

圖2.1 New Hadoop location參數填寫說明

　  其中Map/Reduce Master的端口地址該怎么填寫，網上大都資料為hadoop1.x的mapred.job.tracker的端口號，但在hadoop2.x中已使用yarn來代替jobtracker，猜測這里填寫mapreduce.jobtracker.http.address的端口值50030，也有資料說填寫dfs.datanode.ipc.address端口值50020，具體填寫何值有待進一步確認。

3、打開 Windows → Hadoop Map/Reduce ，右側選擇hadoop2.6所在路徑：D:\desktop\hadoop-2.6.0；

4、打開 Windows → show view → other ，選擇“Project Explorer”，可以在 DFS Locations 中看到HDFS的目錄結構；

圖2.2 Eclipse Hadoop插件瀏覽HDFS目錄

5、新建MapReduce項目，打開 New → Project ，選擇“Map/Reduce Project”，輸入項目名即可，項目創建后會自動導入hadoop下所需的jar包。