1.下載Scala: https://www.scala-lang.org/download/
①注意:必須下載官方要求的JDK版本,並設置JAVA_HOME,否則后面將出現很多麻煩!
②Scala當前最新版本為2.13.0,但是建議不要使用最新的版本,此處下載的是2.11.12
Scala所有版本列表:https://www.scala-lang.org/download/all.html
③設置環境變量
2.安裝后在cmd中輸入scala出現如下提示表示成功
3.下載Spark:http://spark.apache.org/downloads.html
4.進入spark-2.3.3-bin-hadoop2.7\bin,cmd中輸入spark-shell
①出現下面錯誤,表示需要安裝python。安裝時選擇加到系統路徑中,安裝完cmd中輸入python驗證是否安裝成功。
②出現下面錯誤,表示找不到Hadoop。需要安裝Hadoop並設置HADOOP_HOME的系統路徑。關於Windows下的Hadoop安裝,可以參考《Windows上安裝運行Hadoop》。
③出現下面的WARN可以不用理會,正常使用。
如果實在受不了WARN的話,則在spark-2.3.3-bin-hadoop2.7\conf\log4j.properties(默認是有template后綴的,直接去掉這個后綴)中增加
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
④屏蔽后的顯示
下面的內容為使用IDEA寫一個Scala的demo並使用Spark-submit運行。
5.下載IDEA的Scala插件
6.創建Scala的IDEA項目
7.選擇相應的JDK和Scala,創建一個HelloWorld項目
8.創建一個名字為Hello的Scala Object,會生成一個Hello.scala文件
9.在文件中輸入如下代碼
object Hello { def main(args: Array[String]): Unit = { println("Hello World"); } }
10.在IDEA中Run一下,正常顯示
11.使用Project Structure->Artifacts打包成HelloWorld.jar
12.將HelloWorld.jar拷貝到spark-2.3.3-bin-hadoop2.7\bin中,在cmd中執行
spark-submit --class Hello HelloWorld.jar
以上。