配置的偽分布式,ubuntu14.04上
先配置hadoop,參見這個博客,講的很好
http://www.powerxing.com/install-hadoop/,
但是我在配的過程中還是遇到了問題:
問題1:設置免登錄的時候,雖然是按步驟做的,但ssh localhost測試,總是提示要輸入密碼。這個博客說的比較清楚:http://blog.csdn.net/budapest/article/details/8022926
解決辦法:chmod 600 authorized_keys
問題2:在運行hadoop例子的過程中,提示找不到java_home的路徑,雖然我在全局已經配置了,但是貌似這個是找hadoop的配置文件
解決辦法:找到 /usr/local/hadoop/etc/hadoop 目錄下的 hadoop-env.sh,最末尾加上JAVA_HOME的路徑
配置完hadoop ,接下來配置spark
參見博客:http://bit1129.iteye.com/blog/2171761
1.這個博客里提到的hadoop.master 對應的ip 是在 /etc/hosts 文件中配置對應關系
2.運行spark前,需要先啟動hadoop。如圖:
步驟一:

步驟二:

然后運行shell就好了
