windows下eclipse 做hadoop開發


1、先安裝好hadoop 集群 參考文檔http://www.cnblogs.com/bornteam/p/6517960.html

2、首先安裝好集群,再把去下載hadoop-eclipse-plugin-2.6.0.jar
放在eclipse安裝文件夾的插件中   下載鏈接https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar
 
3、重啟eclipse,出現如圖:多出現了Hadoop Map/Reduce

4、填寫本地hadoop解壓的路徑,這個hadoop版本是linux的,只需要解壓就可以了

 

下載 http://pan.baidu.com/s/1qWG7XxU下載Hadoop2.6.0-eclipse插件.zip,然后解壓后,把Hadoop2.6.0-eclipse插件.zip\eclipse插件\2.4以后的目錄中的winutils.exe復制Hadoop2/bin目錄下。
 
  由於  C:\Windows\System32下缺少hadoop.dll,把這個文件拷貝到C:\Windows\System32下面即可。
 解決:
   將壓縮包中的hadoop.dll放到C:\Windows\System32下,要與hadoop對應的版本
 
如圖所示:

 

5、配置Map/ReduceLocations
   1)點擊Window-->Show View -->MapReduce Tools  點擊Map/ReduceLocation,右鍵新建NEW Hadoop Location
   2)點擊Map/ReduceLocation選項卡,點擊右邊小象圖標,打開Hadoop Location配置窗口: 輸入Location Name,任意名稱即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml與core-site.xml中的 fs.defaultFS的設置一致即可

 

6、新建系統用戶hadoop 密碼和分布式集群一樣,切換hadoop用戶做操作

配置環境變量

配置好環境,重啟Eclipse

 驗證是否成功:

新建MapReduce項目,選擇DFSLocation->master 上傳一個文件到NDFS上,如果成功,說明配置可以

接下來做項目實戰開發。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM