不多說,直接上干貨!
前面我們已經搭建了一個偽分布模式的Hadoop運行環境。請移步,
hadoop-2.2.0.tar.gz的偽分布集群環境搭建(單節點)
我們絕大多數都習慣在Eclipse或MyEclipse中做Java開發,本次隨筆我就教大家如何搭建一個基於MyEclipse IDE的Hadoop開發環境。
閑話少說,走起!
第一步 安裝MyEclipse的Hadoop插件
1 打開MyEclipse,查看是否已經安裝過
window -> preferences
沒有顯示Hadoop Map/Reduce,則說明MyEclipse是沒有安裝過Hadoop的插件。
首先,確認你本地的Windows上已經安裝JDK和Eclipse或者MyEclipse,並能開發java程序。
2、下載Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0
將下載下來的jar文件放入安裝的MyEclipse 10\dropins目錄下,然后重啟MyEclipse。
放進去
重啟后,會出現下面的這個界面,即彈出Drop-in Changes Detected檢測,點擊ok即可,
即,出現了Hadoop Map/Reduce,說明在MyEclipse里安裝Hadoop插件成功。
第二步 本地的Hadoop安裝
1、hadoop-2.2.0-x64.rar的下載
首先,明確了本地的JDK是64位版本,所以需要下載對應位的hadoop運行包。其實,也是為了與CentOS6.5里的hadoop運行包和jdk對應一致。
2 、解壓下載的文件包,存放在你希望的某個目錄下,比如:D:\Software\hadoop-2.2.0
重啟MyEclipse,菜單的Windows -> Preferences 中
會多出一個 Hadoop Map/Reduce的項。點擊這一項,右側選擇你的Hadoop存放目錄 (D:\Software\hadoop-2.2.0)
解壓前,
解壓后,
3、配置環境變量
新建環境變量HADOOP_HOME,變量值為D:\Software\hadoop-2.2.0
修改Path變量,添加:
;D:\Software\hadoop-2.2.0\bin 注意分號
4、添加Map/Reduce Location
將Eclipse/MyEclipse切換到Map/Reduce視圖,
底部操作區會出現Map/Reduce Locations項,如下圖所示:
在上圖所示區域點擊鼠標右鍵或者如上圖所示點擊它也行,然后New Hadoop location.
在彈出的界面中做如下設置:
50020 -> 50070 (50070是MapReduce的Web界面)
50040-> 9000
zhouls -> hadoop
5、sbin/start-all.sh , 再 jps
6、 點擊windows -> show view -> project Exploer ,可以出現以下
這就表明,hadoop與本地的MyEclipse搭建成功。
新建MapReduce項目
下面,新建一個
1、File -> New -> Map/Reduce Project
2、將Map/Reduce Project 項目工程的名字設置為Hadoop
3、Open Associated Perspective選擇界面,點擊“Yes”
4、即出現Hadoop
5、新建包Package
src -> New Package
Source folder: Hadoop/src
Name:com.dajiangtai.hadoop.test
6、新建類名,WordCount
7、來看下WordCount自帶的程序:
改之前,是
改之后,是
8、window -> show view -> other ->
9、運行下程序。
10、
11、
12、在本地的Hadoop安裝目錄下的src目錄里,將log4j.properties復制到其下。
13、重啟后的MyEclipse對應的位置。
然后,再執行WordCount.java
刷新,查詢下結果
這個統計結果跟之前一致。
即表明搭建基於MyEclipse的Hadoop開發環境已經成功!
同時,大家可以關注我的個人博客:
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/ http://www.cnblogs.com/sunnyDream/
詳情請見:http://www.cnblogs.com/zlslch/p/7473861.html
人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於互聯網和個人學習工作的精華干貨知識,一切來於互聯網,反饋回互聯網。
目前研究領域:大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里,每天必須有收獲
對應本平台的討論和答疑QQ群:大數據和人工智能躺過的坑(總群)(161156071)