特注:windows下開發spark不需要在本地安裝hadoop,但是需要winutils.exe、hadoop.dll等文件,前提是你已經安裝了eclipse、maven、jdk等軟件。spark支持jdk版本建議是1.8及以上,如果開發spark建議將jdk編譯版本設置為1.8。
Spark
下載
網址:http://spark.apache.org/downloads.html
解壓
環境變量配置
在cmd下輸入以下命令:setx PATH “F:\spark\spark-2.4.0-bin-hadoop2.7\bin;%PATH%”
驗證配置
在cmd下輸入spark-shell命令
如上,可以看到對應的spark、scala、java版本,同時也看到了異常信息,該異常信息是由於hadoop導致的,下面來配置hadoop。
Hadoop
下載
網址:http://hadoop.apache.org/releases.html
解壓
環境變量配置
在cmd下依次輸入以下兩行命令:
- setx HADOOP_HOME F:\hadoop\hadoop-2.7.7
- setx PATH “%HADOOP_HOME%\bin;%PATH%”
winutils下載
網址:https://github.com/steveloughran/winutils
下載對應版本的bin目錄直接替換本地bin目錄即可。
驗證配置
1、在cmd下輸入spark-shell命令
此時即不會出現之前的異常提示。
2、訪問控制台中的webui如下:http://127.0.0.1:4040/jobs/