網上例子大多是基於scala的,並且配置基於sbt、scala的eclipse環境超級麻煩,所以下載IDEA。
准備:jdk,IDEA安裝(可以不用事先安裝sbt和Scala,這在IDEA里都可以plugin)
安裝Scala,SBT插件
在IDEA的Preference—Plugins—Browse Repositories—scala 點擊install scala就行啦
安裝sbt同理
開發與打包
在使用的時候與Eclipse還是有蠻大區別的,個人理解Eclipse的workspace和IDEA的Project類似,Eclipse的Project和IDEA的module類似,但又不完全等價。
首先新建一個Scala Project,起名SimpleApp,文件目錄如下所示:
這個時候External Libraries里只有jdk和Scala,還要引用Spark的jar包
在工具欄中有一個Project Structure:
(當然也可以從file選項里找到)
按照Libraries -> + -> Java -> (從彈窗里選擇要添加的開發jar包)
添加好的External Libraries如下
寫代碼,用的官網的代碼:
可以直接在本地上跑,只要conf設置master為local就可以在IDEA上檢驗程序是否正確
打成Jar包:
還是Project Structure -> Artifacts -> + -> JAR -> From modules with dependencies
隨便選個class
OK之后彈出:
SimpleAPP.jar把Scala Spark的開發包去掉。Ok之后點擊Build -> Build Artifacts -> build后在SimpleAPP/out/artifacts/SimpleAPP_jar路徑下就有了SimpleAPP.jar包了
然后用spark-submit就可以提交了
這里對Project module 和編譯Jar包的各種路徑還有待搞清楚——TODO
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
最后再對IDEA的目錄結構解釋一下
目錄名稱 | 釋義 |
.idea | |
src | |
SimpleAPP.iml | |