在前面的博文中博主展示了如何在虛擬機中搭建Hadoop的單節點偽分布集群,今天給大家介紹一下如何在Eclipse環境中搭建Hadoop的管理和開發環境,話不多說,下面我們就進入正題吧!
1.JDK安裝配置
如果還沒有安裝Eclipse的朋友們需要先安裝並配置好JDK,再下載安裝Eclipse,這些我相信大家走到這一步的時候肯定都會了,就不贅述了。接下來,進入Hadoop環境搭建。
2.Hadoop插件安裝和配置
在Eclipse配置Hadoop環境之前應該是沒有對應插件的(進入Eclipse —> Windows —> Preferences),如下圖所示。

要安裝Hadoop插件的話我們得先知道所安裝的Hadoop版本,這樣才能對症下葯安裝對應插件。這需要在我們的虛擬機(或Xshell等遠程連接工具)中進行查看,操作如下圖所示。

如圖所示,博主安裝的Hadoop版本為2.2.0,所以需要安裝對應的插件,插件下載地址為:32位版JDK下載 hadoop2.2 32位版Windows運行包,64位版JDK下載 hadoop2.2 64位版Windows運行包。
下載完成之后,將其放到你所安裝的Eclipse目錄下的dropins文件下。

然后,我們重啟一下,然后再次進入Windows —> Preferences可看到我們已經成功安裝好了Hadoop插件(如下圖所示),接下來我們要對其進行配置。

點擊Hadoop Map/Reduce選項,進入配置頁面,點擊Browse,選擇Hadoop安裝路徑(能夠看到bin文件夾的路徑)填入其中。是的,配置就是這么簡單。

3. 配置環境變量
從桌面電腦圖標右鍵進入“屬性”界面,選擇“高級系統配置”,選擇“環境變量”,然后選擇“系統變量”下的新建,添加一個HADOOP_HOME的變量,變量值為HADOOP安裝路徑(能夠看到bin文件夾的路徑),博主的為:D:\Software\Hadoop2.2\hadoop-2.2.0-x64

接下來,往系統變量Path里追加“;HADOOP_HOME\bin”,注意:win10系統按照以下格式添加,win7應該是字符串格式,如果沒有分號一定要自己補上!
4. 配置Map/Reduce Locations
打開 Windows—> show view —> Other,選擇MapReduce Tools下的Map/Reduce Locations。

點擊下圖右上角位置的小象,進入配置頁面。


其中,Location name自定義一個名字就行,配置Map/Reduce Master和DFS Mastrer,Host和Port配置成與core-site.xml的設置一致即可(Host為hadoop節點的hostname,DFS Mastrer下的port為HDFS端口號,User name為安裝Hadoop節點用戶名稱,如下圖)。

配置好上面的hostname后,需要添加一條hostname 的解析。 在Windows下,以管理員的身份打開C:\Windows\System32\drivers\etc\hosts文件,並追加以下字段(hostname對應個人的配置)。

5. 測試
在虛擬機中啟動集群

點擊Eclipse右上角的小象圖標,然后就可以看到Hadoop節點的信息了。

此時,在虛擬機中用Shell命令的形式可以對Hadoop進行管理,比如新建目錄、文件、上傳和下載等操作和在Eclipse下的可視化操作都是同步的了(如果沒有同步請先右鍵點擊refresh刷新一下),也就是說可以同步對Hadoop進行管理和開發。在這種情況下當然是在Eclipse中更簡便咯,這也就是我們本次教程的目的所在。


此時,我們也可以從瀏覽器中查看一下我們Hadoop節點的信息。


顯然,不論是從虛擬機、Eclipse還是瀏覽器,我們所看到的內容都是同步。所以,我們的配置是成功的!接下來我們將會在后面的博文中通過一些小例子進入實戰學習吧。
以上就是博主為大家介紹的這一板塊的主要內容,這都是博主自己的學習過程,希望能給大家帶來一定的指導作用,有用的還望大家點個支持,如果對你沒用也望包涵,有錯誤煩請指出。如有期待可關注博主以第一時間獲取更新哦,謝謝!
版權聲明:本文為博主原創文章,未經博主允許不得轉載。
