在Eclipse下搭建Hadoop開發環境


 

  在前面的博文中博主展示了如何在虛擬機中搭建Hadoop的單節點偽分布集群,今天給大家介紹一下如何在Eclipse環境中搭建Hadoop的管理和開發環境,話不多說,下面我們就進入正題吧!

1.JDK安裝配置

  如果還沒有安裝Eclipse的朋友們需要先安裝並配置好JDK,再下載安裝Eclipse,這些我相信大家走到這一步的時候肯定都會了,就不贅述了。接下來,進入Hadoop環境搭建。

2.Hadoop插件安裝和配置

  在Eclipse配置Hadoop環境之前應該是沒有對應插件的(進入Eclipse —> Windows —> Preferences),如下圖所示。

  要安裝Hadoop插件的話我們得先知道所安裝的Hadoop版本,這樣才能對症下葯安裝對應插件。這需要在我們的虛擬機(或Xshell等遠程連接工具)中進行查看,操作如下圖所示。

  如圖所示,博主安裝的Hadoop版本為2.2.0,所以需要安裝對應的插件,插件下載地址為:32位版JDK下載 hadoop2.2 32位版Windows運行包,64位版JDK下載 hadoop2.2 64位版Windows運行包

  下載完成之后,將其放到你所安裝的Eclipse目錄下的dropins文件下。

  

 

  然后,我們重啟一下,然后再次進入Windows —> Preferences可看到我們已經成功安裝好了Hadoop插件(如下圖所示),接下來我們要對其進行配置。

  點擊Hadoop Map/Reduce選項,進入配置頁面,點擊Browse,選擇Hadoop安裝路徑(能夠看到bin文件夾的路徑)填入其中。是的,配置就是這么簡單。

  

3. 配置環境變量

  從桌面電腦圖標右鍵進入“屬性”界面,選擇“高級系統配置”,選擇“環境變量”,然后選擇“系統變量”下的新建,添加一個HADOOP_HOME的變量,變量值為HADOOP安裝路徑(能夠看到bin文件夾的路徑),博主的為:D:\Software\Hadoop2.2\hadoop-2.2.0-x64

                                                                              

 

  接下來,往系統變量Path里追加“;HADOOP_HOME\bin”,注意:win10系統按照以下格式添加,win7應該是字符串格式,如果沒有分號一定要自己補上

4. 配置Map/Reduce Locations

  

打開 Windows—> show view —> Other,選擇MapReduce Tools下的Map/Reduce Locations。

  點擊下圖右上角位置的小象,進入配置頁面。

  

   其中,Location name自定義一個名字就行,配置Map/Reduce Master和DFS Mastrer,Host和Port配置成與core-site.xml的設置一致即可(Host為hadoop節點的hostname,DFS Mastrer下的port為HDFS端口號,User name為安裝Hadoop節點用戶名稱,如下圖)。

  配置好上面的hostname后,需要添加一條hostname 的解析。 在Windows下,以管理員的身份打開C:\Windows\System32\drivers\etc\hosts文件,並追加以下字段(hostname對應個人的配置)。

                                                           

 

5. 測試

  在虛擬機中啟動集群

  點擊Eclipse右上角的小象圖標,然后就可以看到Hadoop節點的信息了。

  此時,在虛擬機中用Shell命令的形式可以對Hadoop進行管理,比如新建目錄、文件、上傳和下載等操作和在Eclipse下的可視化操作都是同步的了(如果沒有同步請先右鍵點擊refresh刷新一下),也就是說可以同步對Hadoop進行管理和開發。在這種情況下當然是在Eclipse中更簡便咯,這也就是我們本次教程的目的所在。

 

  此時,我們也可以從瀏覽器中查看一下我們Hadoop節點的信息。

  顯然,不論是從虛擬機、Eclipse還是瀏覽器,我們所看到的內容都是同步。所以,我們的配置是成功的!接下來我們將會在后面的博文中通過一些小例子進入實戰學習吧。

 

以上就是博主為大家介紹的這一板塊的主要內容,這都是博主自己的學習過程,希望能給大家帶來一定的指導作用,有用的還望大家點個支持,如果對你沒用也望包涵,有錯誤煩請指出。如有期待可關注博主以第一時間獲取更新哦,謝謝!

  

 版權聲明:本文為博主原創文章,未經博主允許不得轉載。

 

 

 

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM