Eclipse集成Hadoop插件


一.Eclipse集成Hadoop插件

  1.在這之前我們需要配置真機上的hadoop環境變量

注:在解壓tar包的時候普通解壓會出現缺文件的現象,所以在這里我們需要用管理員的方式啟動我們的解壓軟件(我用的是winRAR)

之后在真機中打開cmd輸入:hadoop version

 

注:在這里提醒一下,因為hadoop的環境變量中不可以出現空格,就導致jdk環境變量也不可以有空格,所以這樣配置容易出現問題。我們可以修改一下:

 

把原有的%JAVA_HOME%改成你jdk的路徑。記得用雙引號引起來哦

   2.下載插件:hadoop-eclipse-plugin-2.6.0.jar

 把插件放到eclipse安裝目錄下的plugins文件下

   3.啟動eclipse

 

  3.1.找到自己的hadoop安裝位置

  3.2.eclipse中顯示插件的頁面

 

這樣文件中的東西就顯示出來了

   3.3.使用eclipse創建並運行wordcount程序

 

hadoop-mapreduce-examples-2.8.0-sources\org\apache\hadoop\examples這個文件夾下面找到

  3.4.之后右鍵點擊Run As

   3.5.配置參數

  3.6.得到了我們想要的結果

 

 2.在運行過程中如果出現以下問題:

問題1:

 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

解決方案:

有可能是本機的hadoop/bin目錄下缺少hadoop.dllwinutils.exe等文件,

那么下載下面的壓縮包,把壓縮包中的所有文件放進hadoop/bin中!

https://pan.baidu.com/s/1RlDJXv0C8x8Qyvjo2ISAVA
pst2

 

然后在hadoop-2.8.0\share\hadoop\common\sources文件夾中找到hadoop-common-2.8.0-sources.jar

 

解壓hadoop-common-2.8.0-sources.jar找到

hadoop-common-2.8.0-sources\org\apache\hadoop\io\nativeio\NativeIO.java 文件

 

把這個NativeIO.java 復制到自己的項目中

 

之后運行即可

 

問題2

org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output":root:supergroup:drwxr-xr-x

在集群中運行:

hadoop fs -chmod -R 777 /

來解決權限問題

  3.7.使用eclipse打成jar包發布到linux中運行

之后把打成的jar扔到linux上

 

運行完畢之后,在eclipse中查看效果圖!

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM