搭建基於MyEclipse的Hadoop開發環境


 

  不多說,直接上干貨!

 

  前面我們已經搭建了一個偽分布模式的Hadoop運行環境。請移步,

hadoop-2.2.0.tar.gz的偽分布集群環境搭建(單節點)

 

  我們絕大多數都習慣在Eclipse或MyEclipse中做Java開發,本次隨筆我就教大家如何搭建一個基於MyEclipse IDE的Hadoop開發環境。

  閑話少說,走起!

 

 

 

 

第一步 安裝MyEclipse的Hadoop插件

  1 打開MyEclipse,查看是否已經安裝過

  window  ->  preferences 

  沒有顯示Hadoop Map/Reduce,則說明MyEclipse是沒有安裝過Hadoop的插件

  首先,確認你本地的Windows上已經安裝JDK和Eclipse或者MyEclipse,並能開發java程序。

 

 

2、下載Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0 

  將下載下來的jar文件放入安裝的MyEclipse 10\dropins目錄下,然后重啟MyEclipse。

  放進去

 

  重啟后,會出現下面的這個界面,即彈出Drop-in Changes Detected檢測,點擊ok即可,

 

  即,出現了Hadoop Map/Reduce,說明在MyEclipse里安裝Hadoop插件成功。

 

 

第二步 本地的Hadoop安裝

1、hadoop-2.2.0-x64.rar的下載

  首先,明確了本地的JDK是64位版本,所以需要下載對應位的hadoop運行包。其實,也是為了與CentOS6.5里的hadoop運行包和jdk對應一致。

 

2 、解壓下載的文件包,存放在你希望的某個目錄下,比如:D:\Software\hadoop-2.2.0

  重啟MyEclipse,菜單的Windows   ->   Preferences 中

  會多出一個 Hadoop Map/Reduce的項。點擊這一項,右側選擇你的Hadoop存放目錄 (D:\Software\hadoop-2.2.0)

  解壓前,

 

 

  解壓后,

 

 

 

3、配置環境變量

 

 

 

 

  新建環境變量HADOOP_HOME,變量值為D:\Software\hadoop-2.2.0

 

 

修改Path變量,添加:

;D:\Software\hadoop-2.2.0\bin   注意分號

 

 

 

 

4、添加Map/Reduce Location

  將Eclipse/MyEclipse切換到Map/Reduce視圖,

 

 

  底部操作區會出現Map/Reduce Locations項,如下圖所示:

 

 

  在上圖所示區域點擊鼠標右鍵或者如上圖所示點擊它也行,然后New Hadoop location.

  在彈出的界面中做如下設置:

 

 

 

 

50020 -> 50070      (50070是MapReduce的Web界面)

50040-> 9000  

zhouls -> hadoop

 

 

5、sbin/start-all.sh , 再 jps

 

 

6、 點擊windows  ->  show view  ->  project Exploer ,可以出現以下

 

 

  這就表明,hadoop與本地的MyEclipse搭建成功。

 

 

 

新建MapReduce項目

  下面,新建一個

  1、File  ->  New  ->  Map/Reduce Project 

 

 

2、將Map/Reduce Project 項目工程的名字設置為Hadoop

 

 

3、Open Associated Perspective選擇界面,點擊“Yes”

 

 

4、即出現Hadoop

 

 

5、新建包Package

  src   ->    New  Package 

Source  folder: Hadoop/src

Name:com.dajiangtai.hadoop.test

 

 

6、新建類名,WordCount

 

 

7、來看下WordCount自帶的程序:

 

 

 

 

 

改之前,是

 

 

改之后,是

 

 

 

 

8、window -> show view -> other -> 

 

 

9、運行下程序。

 

 

10、

 

 

 

11、

 

 

 

12、在本地的Hadoop安裝目錄下的src目錄里,將log4j.properties復制到其下。

 

 

 

 13、重啟后的MyEclipse對應的位置。

 

 

 

 

 

 

 

 

  然后,再執行WordCount.java

  刷新,查詢下結果

 

  這個統計結果跟之前一致。

  即表明搭建基於MyEclipse的Hadoop開發環境已經成功!

 

 

 

 

 

 

 

歡迎大家,加入我的微信公眾號:大數據躺過的坑        人工智能躺過的坑
 
 
 

同時,大家可以關注我的個人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見:http://www.cnblogs.com/zlslch/p/7473861.html

 

  人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於互聯網和個人學習工作的精華干貨知識,一切來於互聯網,反饋回互聯網。
  目前研究領域:大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里,每天必須有收獲

 

      對應本平台的討論和答疑QQ群:大數據和人工智能躺過的坑(總群)(161156071) 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM