從零自學Hadoop(07):Eclipse插件


閱讀目錄

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

  上一篇,我們的第一個Cluster搞定了,按平常的搭建集群來說,應該是至少3個DataNode的,應為默認的一份HDFS文件分成3份,所以最少也得3個DataNode的服務器,但由於本機就一塊硬盤,內存也不大,所以,勉強的用2份。

  在這里我們開始使用MyCluster了,有個Eclipse的插件用上去后,對HDFS文件的處理就比較方便了,我們開始吧!

Eclipse

  我們直接去官網下個Eclipse,不要太舊的就行了。為了大家的方便,下面放一個官網的地址。

  http://www.eclipse.org/downloads/ 

Eclipse插件

一:原因

  為什么要用這個插件了?有什么好處了?

  因為我們待分析的文件需要從客戶端通過rpc傳到NameNode,所以在linux中,是找不到這個文件的,相當於是做了個隔離,所以用個插件就很方便的上傳這些文件了,還可以查看目錄結構,文件內容。分析后結果也是很方便的查看的到。

二:地址

  https://github.com/winghc/hadoop2x-eclipse-plugin

  在Release中,我們可以看到有3個編譯好的jar包。都是2.0以上的版本,所以對於hadoop2.0以上的都可以用。

三:安裝

  將插件放入eclipse的插件目錄,“eclipse\plugins”。

  重啟Eclipse

  進入Windows->Preferences

  選擇Hadoop的路徑

四:查Hadoop配置信息

  首先,我們得知道我們的NameNode和HDFS的地址。

  我們進入ambari登陸頁面。

  選中HDFS->Config,圈中的就是HDFS的地址。

  選中MapReduce2->Config,圈中的就是MapReduce地址

五:配置

  打開Eclipse插件,右鍵新建一個Hadoop location

  編輯圈中的地方。

六:連接

  雙擊DFS Locations_>Hadoop

  就可以看到如下的目錄結構

 

新建插件項目

一:新建項目

  打開File->New Project->Map/Reduce Project

  下一步,輸入項目名稱。

  點擊完成,我們可以看到一個簡易的Map/Reduce項目完成。

   

--------------------------------------------------------------------

  到此,本章節的內容講述完畢。

系列索引

  【源】從零自學Hadoop系列索引

 

 

 

 

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM