一.Eclipse集成Hadoop插件
1.在這之前我們需要配置真機上的hadoop環境變量
注:在解壓tar包的時候普通解壓會出現缺文件的現象,所以在這里我們需要用管理員的方式啟動我們的解壓軟件(我用的是winRAR)
之后在真機中打開cmd輸入:hadoop version
注:在這里提醒一下,因為hadoop的環境變量中不可以出現空格,就導致jdk環境變量也不可以有空格,所以這樣配置容易出現問題。我們可以修改一下:
把原有的%JAVA_HOME%改成你jdk的路徑。記得用雙引號引起來哦
2.下載插件:hadoop-eclipse-plugin-2.6.0.jar
把插件放到eclipse安裝目錄下的plugins文件下
3.啟動eclipse
3.1.找到自己的hadoop安裝位置
3.2.eclipse中顯示插件的頁面
這樣文件中的東西就顯示出來了
3.3.使用eclipse創建並運行wordcount程序
在hadoop-mapreduce-examples-2.8.0-sources\org\apache\hadoop\examples這個文件夾下面找到
3.4.之后右鍵點擊Run As
3.5.配置參數
3.6.得到了我們想要的結果
2.在運行過程中如果出現以下問題:
問題1:
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
解決方案:
有可能是本機的hadoop/bin目錄下缺少hadoop.dll和winutils.exe等文件,
那么下載下面的壓縮包,把壓縮包中的所有文件放進hadoop/bin中!
https://pan.baidu.com/s/1RlDJXv0C8x8Qyvjo2ISAVA
pst2
然后在hadoop-2.8.0\share\hadoop\common\sources文件夾中找到hadoop-common-2.8.0-sources.jar
解壓hadoop-common-2.8.0-sources.jar找到
hadoop-common-2.8.0-sources\org\apache\hadoop\io\nativeio\NativeIO.java 文件
把這個NativeIO.java 復制到自己的項目中
之后運行即可
問題2:
org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output":root:supergroup:drwxr-xr-x
在集群中運行:
hadoop fs -chmod -R 777 /
來解決權限問題
3.7.使用eclipse打成jar包發布到linux中運行
之后把打成的jar扔到linux上
運行完畢之后,在eclipse中查看效果圖!