spark快速入門之最簡配置 spark 1.5.2 hadoop 2.7 配置


配置的偽分布式,ubuntu14.04上

先配置hadoop,參見這個博客,講的很好  

http://www.powerxing.com/install-hadoop/,

但是我在配的過程中還是遇到了問題:

問題1:設置免登錄的時候,雖然是按步驟做的,但ssh localhost測試,總是提示要輸入密碼。這個博客說的比較清楚:http://blog.csdn.net/budapest/article/details/8022926

解決辦法:chmod 600 authorized_keys

問題2:在運行hadoop例子的過程中,提示找不到java_home的路徑,雖然我在全局已經配置了,但是貌似這個是找hadoop的配置文件

解決辦法:找到 /usr/local/hadoop/etc/hadoop 目錄下的 hadoop-env.sh,最末尾加上JAVA_HOME的路徑

 

配置完hadoop ,接下來配置spark

參見博客:http://bit1129.iteye.com/blog/2171761

1.這個博客里提到的hadoop.master 對應的ip 是在 /etc/hosts 文件中配置對應關系

2.運行spark前,需要先啟動hadoop。如圖:

步驟一:

 

步驟二:

 

然后運行shell就好了

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM