IntelliJ IDEA和Scala IDE編寫Spark

1.首先在網上下載ideaIliJ IDEA(https://www.jetbrains.com/idea/),點擊下載即可

2.下載Scala(http://www.scala-lang.org/)，選擇合適的版本下載，本文采用2.11.7,然后安裝scala，配置環境變量即可，建議默認安裝，省去很多不必要的東西。

然后打開電腦cmd，輸入scala，當顯示scala交互的界面表示已經安裝成功了。

3.下載JDK8，這個網上百度一大堆，以及如何配置環境變量，因為scala也是運行在JVM上的

4.下載Scala IDE(http://scala-ide.org/download/sdk.html)

5.首先介紹Scala IDE如何使用scala，打開IDE，創建一個新的Scala Project，取名為HelloScala，這時候通常 出現和你所用的scala版本不相符的情況，如下，          這時候需要，右鍵選擇工程的Properties，進入后再選擇Scala compiler，點擊Use Project Setting，選擇和你所下載的scala版本相符合的Latest版本。然后按照創建Java的方式創建即可，只需要注意，可以在包下直接創建Object，輸入以下測試代碼

，最后右鍵run就可以了。

6.當采用IDEA的時候就比較復雜一點，首先需要scala插件才能創建工程，當你沒有下載的時候，你可以先創建一個empty project，然后點擊file->settings->Plugins，在搜索框輸入Scala，然后安裝就行了，然后點擊file->project structure->Modules，點擊綠色加號,創建new module，這時候應該就可以創建Scala的工程了，要是不行，可以重啟一下，這時候要是Module SDK和Scala SDK沒選擇好，可以修改，Module的是JAVA sdk，然后新建一個scala class，當出現輸入名字的時候，點擊下拉框，選擇新建object，同樣輸入上述代碼，成功運行，到此全部結束。兩者均可以運行scala

7.然后開始搭建spark，本文選擇的是下載代碼導入的方式，不采用maven，第一步，確保你的電腦上安裝了hadoop，並且可以正常的運行，這個可以參考馬士兵的hadoop教程，然后在這個頁面下載spark(http://spark.apache.org/downloads.html)，一定要選擇和你的hadoop版本一致的spark，並且選擇Pre-build版本，下載下來解壓即可，然后將解壓后文件的bin目錄，添加到Path環境變量，，打開cmd，輸入spark-shell，正常運行，表示可以在本機采用命令行交互實現spark。

8.當采用IDEA，書寫spark的時候，可以建立maven，也可以建立scala程序，本文建立了一個scala程序，就在上面的基礎上，在IDEA中點擊file->Project Structure->Libraries,選擇Java，找到解壓后的spark文件夾下的jars文件夾，選擇這個文件夾，點擊確定，一路確定即可，此時，External Libraries會出現三個，如下，這時候，先新建一個文本文件test.txt,輸入如下內容，

 

輸入一個測試程序，如下

import org.apache.spark.{SparkConf, SparkContext}

object hello {
  def main(args: Array[String]): Unit = {
    val conf=new SparkConf().setAppName("Test").setMaster("local")
    val sc=new SparkContext(conf)
    val files=sc.textFile("G:\\test.txt").flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey(_+_)//這里輸入絕對路徑
    files.collect().foreach(println)
  }
}

 

輸出表示運行成功。

9.采用scala IDE的時候，采用類似導入Java包的方式進行導入，然后書寫一樣的代碼進行測試，結果也是一樣的。