在Eclipse下搭建Hadoop開發環境


為了方便遠程提交代碼運行,我們Eclipse下搭建Hadoop開發環境

1.JDK安裝配置

首先得先安裝並配置好JDK,然后下載安裝Eclipse。這一部分不做過多介紹,使用java這一步應該都已經達成,接下來開始對Hadoop開發環境進行搭建。

2.Hadoop插件安裝和配置

Eclipse —> Windows —> Preferences

 

 

 

要安裝Hadoop插件的話得先知道所安裝的Hadoop版本,在虛擬機中進行查看。

輸入如下命令可查看:

CD $HADOOP_HOME

hadoop version

我的插件版本是:hadoop-eclipse-plugin-2.7.4

下載完成之后,將其放到你所安裝的Eclipse目錄下的dropins文件下。(注:因為版本不同,如果無效,可以放到plugins下再試試)

 

 

 

 

 

 

 

重啟,再次進入Windows —> Preferences,可看到已經成功安裝好了Hadoop插件,接下來對其進行配置。

 

 

 

 點擊Hadoop Map/Reduce選項,進入配置頁面,點擊Browse,選擇Hadoop安裝路徑(能夠看到bin文件夾的路徑)填入其中。(注:你需要把虛擬機中安裝的Hadoop版本,在這個提交代碼的機器上解壓存放好,配置插件的時候需要調用,此處輸入相關路徑,實質上只有bin目錄內容有用)

 

 

 

 

3. 配置環境變量

從桌面電腦圖標右鍵進入“屬性”界面,選擇“高級系統配置”,選擇“環境變量”,然后選擇“系統變量”下的新建,添加一個HADOOP_HOME的變量,變量值為HADOOP安裝路徑(能夠看到bin文件夾的路徑)

 

 接下來,往系統變量Path里追加“;HADOOP_HOME\bin”(注意,WIN7需要自己輸入分號):

 

 

 

4. 配置Map/Reduce Locations 

Windows—> show view —> Other,選擇MapReduce Tools下的Map/Reduce Locations。

 

 

 

 

點擊下圖右上角位置的小象,進入配置頁面。

 

 

 

 

 其中,Location name自定義一個名字就行,配置Map/Reduce Master和DFS Mastrer,Host和Port配置成與core-site.xml的設置一致即可(Host為hadoop節點的IP地址DFS Mastrer下的port為HDFS端口號,User name為安裝Hadoop節點用戶名稱)。

5. 測試

 在虛擬機中啟動集群

 點擊Eclipse右上角的小象圖標,然后就可以看到Hadoop節點的信息了。

 此時,在虛擬機中用Shell命令的形式可以對Hadoop進行管理,比如新建目錄、文件、上傳和下載等操作和在Eclipse下的可視化操作都是同步的了(如果沒有同步請先右鍵點擊refresh刷新一下),也就是說可以同步對Hadoop進行管理和開發。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM