Windows上安裝運行Spark


1.下載Scala: https://www.scala-lang.org/download/

①注意:必須下載官方要求的JDK版本,並設置JAVA_HOME,否則后面將出現很多麻煩!

②Scala當前最新版本為2.13.0,但是建議不要使用最新的版本,此處下載的是2.11.12

Scala所有版本列表:https://www.scala-lang.org/download/all.html

③設置環境變量

 

2.安裝后在cmd中輸入scala出現如下提示表示成功

 

3.下載Spark:http://spark.apache.org/downloads.html

4.進入spark-2.3.3-bin-hadoop2.7\bin,cmd中輸入spark-shell

①出現下面錯誤,表示需要安裝python。安裝時選擇加到系統路徑中,安裝完cmd中輸入python驗證是否安裝成功。

②出現下面錯誤,表示找不到Hadoop。需要安裝Hadoop並設置HADOOP_HOME的系統路徑。關於Windows下的Hadoop安裝,可以參考《Windows上安裝運行Hadoop》。

③出現下面的WARN可以不用理會,正常使用。

如果實在受不了WARN的話,則在spark-2.3.3-bin-hadoop2.7\conf\log4j.properties(默認是有template后綴的,直接去掉這個后綴)中增加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

④屏蔽后的顯示

 

下面的內容為使用IDEA寫一個Scala的demo並使用Spark-submit運行。 

5.下載IDEA的Scala插件

 

6.創建Scala的IDEA項目

 

7.選擇相應的JDK和Scala,創建一個HelloWorld項目

 

8.創建一個名字為Hello的Scala Object,會生成一個Hello.scala文件

 

9.在文件中輸入如下代碼

object Hello { def main(args: Array[String]): Unit = { println("Hello World"); } }

 

10.在IDEA中Run一下,正常顯示

 

11.使用Project Structure->Artifacts打包成HelloWorld.jar

 

 12.將HelloWorld.jar拷貝到spark-2.3.3-bin-hadoop2.7\bin中,在cmd中執行

spark-submit --class Hello HelloWorld.jar

 

以上。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM