spark之開發環境配置(windows)


特注:windows下開發spark不需要在本地安裝hadoop,但是需要winutils.exe、hadoop.dll等文件,前提是你已經安裝了eclipse、maven、jdk等軟件。spark支持jdk版本建議是1.8及以上,如果開發spark建議將jdk編譯版本設置為1.8。

Spark

下載

網址:http://spark.apache.org/downloads.html

 

解壓

 

環境變量配置

在cmd下輸入以下命令:setx PATH “F:\spark\spark-2.4.0-bin-hadoop2.7\bin;%PATH%”

驗證配置

在cmd下輸入spark-shell命令

 

如上,可以看到對應的spark、scala、java版本,同時也看到了異常信息,該異常信息是由於hadoop導致的,下面來配置hadoop。

Hadoop

下載

網址:http://hadoop.apache.org/releases.html

 

解壓

 

環境變量配置

在cmd下依次輸入以下兩行命令:

  • setx HADOOP_HOME F:\hadoop\hadoop-2.7.7
  • setx PATH “%HADOOP_HOME%\bin;%PATH%”

winutils下載

網址:https://github.com/steveloughran/winutils

下載對應版本的bin目錄直接替換本地bin目錄即可。

驗證配置

1、在cmd下輸入spark-shell命令

 

此時即不會出現之前的異常提示。

2、訪問控制台中的webui如下:http://127.0.0.1:4040/jobs/

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM