Idea 編寫 Spark 示例代碼並打包成Jar


 說明:本人是在Linux下搭建的單機Spark環境,也是在Linux下使用Idea14.02進行代碼編輯

     1. 打開IDEA,在歡迎界面從右下角的Configure -> Plugins進入,安裝Scala插件

 

    2.從左下角的Install JetBrains plugin進入,再在搜索輸入框中輸入 scala,由於我已經裝好scala插件了,所以右側出現的是Uninstall plugin ;若沒有裝好scala插件,應該會出現 Install plugin按鈕,點擊安裝,裝好后會要求重啟IDEA.

 

 

3.配置默認JDK,如下圖

 

進入后會看到 No SDK

點擊New

找到你的Java JDK所在目錄

 

4.新建項目

 

5.選擇Scala 和 SBT。其實我后面並沒有對SBT的配置文件進行編輯,之前編輯過sbt的配置文件,但是由於網絡原因,部分包一直下載不下來,所以干脆不用sbt了,我只是為了讓它自動生成一些目錄而已。

 

 

6.在如圖所示的scala目錄中新建scala object文件

 

 

輸入相應的測試代碼:

 

7.打包相關的配置

 

找到spark安裝目錄下的lib目錄,也可以從其它機器上將需要的jar拷貝過來:

 

 

擊Main Class后面的按鈕,選擇main函數

 

 

下圖中右側藍色的包可以刪掉,只留最后的  'sparktest' compile output那一項即可,否則打好的包會比較大,我之前只寫了幾行代碼,但是把scala和spark相關的包都包含進去了,所以一個包有100多M。

 

8.開始打包

 

打包好后,應該就能看到對應的ja包了

9.進行測試:

 

[java]  view plain  copy
 
  1. bin/spark-submit --master spark://macor:7077 --class getSum /root/IdeaProjects/SParkTest/out/artifacts/sparktest_jar/sparktest.jar  

 

 

 

執行正確:

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM