這些天開始慢慢接觸大數據的東西,順手些一下hadoop搭建過程,提供一下自己的經驗。
首先,我查了很多博客之后,確定了自己需要安裝的hadoop版本2.7.6並找到兩個感覺比較好的博客,下面說一下安裝過程以及解決問題的方法。
第一步,根據博客https://blog.csdn.net/u012761191/article/details/80501388來安裝,其中,我用的jdk是1.8版本的,hadoopwindows-master的地址為:
鏈接:https://pan.baidu.com/s/1S6Gf9ScLdeeUNsQ1yn83kA
提取碼:uud0
我一開始是完全按照上面博客的方法做的,遇到三個問題,第一個問題是在運行:hadoop namenode –format命令的時候發生的,JAVA_HOEM不識別,所以需要修改為自己的安裝路徑;
第二個問題是應該也是這個命令,hdfs-site.xml文件中的地址有問題,錯誤是***index***把\修改為/就好了,我把其他所有關於路徑的配置都這樣改了,,,
第三個問題是java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows,搜了很多地方都沒有找到答案,第二天也就是今天看到了這篇博客
https://blog.csdn.net/a2099948768/article/details/79577246,里面提到了把hadoopwindows-master文件中bin全部覆蓋到hadoop中的bin中,我試了一下,成功了,我覺得應該是這里的問題。
最后,感謝所有寫回答的大佬,尤其是上面這兩位。