說明:本人是在Linux下搭建的單機Spark環境,也是在Linux下使用Idea14.02進行代碼編輯
1. 打開IDEA,在歡迎界面從右下角的Configure -> Plugins進入,安裝Scala插件

2.從左下角的Install JetBrains plugin進入,再在搜索輸入框中輸入 scala,由於我已經裝好scala插件了,所以右側出現的是Uninstall plugin ;若沒有裝好scala插件,應該會出現 Install plugin按鈕,點擊安裝,裝好后會要求重啟IDEA.

3.配置默認JDK,如下圖

進入后會看到 No SDK

點擊New

找到你的Java JDK所在目錄

4.新建項目

5.選擇Scala 和 SBT。其實我后面並沒有對SBT的配置文件進行編輯,之前編輯過sbt的配置文件,但是由於網絡原因,部分包一直下載不下來,所以干脆不用sbt了,我只是為了讓它自動生成一些目錄而已。


6.在如圖所示的scala目錄中新建scala object文件



輸入相應的測試代碼:

7.打包相關的配置


找到spark安裝目錄下的lib目錄,也可以從其它機器上將需要的jar拷貝過來:


點
擊Main Class后面的按鈕,選擇main函數



下圖中右側藍色的包可以刪掉,只留最后的 'sparktest' compile output那一項即可,否則打好的包會比較大,我之前只寫了幾行代碼,但是把scala和spark相關的包都包含進去了,所以一個包有100多M。

8.開始打包


打包好后,應該就能看到對應的ja包了

9.進行測試:
- bin/spark-submit --master spark://macor:7077 --class getSum /root/IdeaProjects/SParkTest/out/artifacts/sparktest_jar/sparktest.jar

執行正確:

