利用Intellij IDEA開發Spark程序


網上例子大多是基於scala的,並且配置基於sbt、scala的eclipse環境超級麻煩,所以下載IDEA。

准備:jdk,IDEA安裝(可以不用事先安裝sbt和Scala,這在IDEA里都可以plugin)

安裝Scala,SBT插件

在IDEA的Preference—Plugins—Browse Repositories—scala 點擊install scala就行啦

安裝sbt同理

開發與打包

在使用的時候與Eclipse還是有蠻大區別的,個人理解Eclipse的workspace和IDEA的Project類似,Eclipse的Project和IDEA的module類似,但又不完全等價。

首先新建一個Scala Project,起名SimpleApp,文件目錄如下所示:

這個時候External Libraries里只有jdk和Scala,還要引用Spark的jar包

在工具欄中有一個Project Structure:(當然也可以從file選項里找到)

按照Libraries -> + -> Java -> (從彈窗里選擇要添加的開發jar包)

添加好的External Libraries如下

寫代碼,用的官網的代碼:

可以直接在本地上跑,只要conf設置master為local就可以在IDEA上檢驗程序是否正確

打成Jar包:

還是Project Structure -> Artifacts -> + -> JAR -> From modules with dependencies

隨便選個class

OK之后彈出:

SimpleAPP.jar把Scala Spark的開發包去掉。Ok之后點擊Build -> Build Artifacts -> build后在SimpleAPP/out/artifacts/SimpleAPP_jar路徑下就有了SimpleAPP.jar包了

然后用spark-submit就可以提交了

 

這里對Project module 和編譯Jar包的各種路徑還有待搞清楚——TODO

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

最后再對IDEA的目錄結構解釋一下

目錄名稱 釋義
.idea   
src  
SimpleAPP.iml  
   

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM