一、安裝IDEA
進入官網下載linux版的社區便,IDEA分為社區版和旗艦版,社區版免費,並且基本滿足spark開發需求。
解壓安裝
目錄為/opt/idea
注意:centos命令行界面下是無法安裝IDEA的,需要進入桌面模式。需要做一下操作:
yum groupinstall "GNOME Desktop" "Graphical Administration Tools"
設置系統啟動默認方式為進入圖形化界面
systemctl get-default
systemctl set-default graphical.target
reboot
進入圖形化界面之后,打開命令行窗口,進入解壓文件夾目錄:/opt/idea/idea-IC-183.5153.38/bin
然后執行: ./idea.sh
二、安裝SCALA插件
File-Setting-Plugins,搜索Scala,install,安裝完畢重啟IDEA。
三、創建SBT項目
File-New-Project,選擇Scala項目,選擇SBT,next
四、構建項目
編輯新建的BlogTest項目,編輯根目錄下的buid.sbt
修改后的內容為:
(1)其中scalaVersion是安裝的spark對應的scala版本,需要在centos里面執行spark-shell查看:
(2)其中libraryDependencies很重要,根據spark版本,去官網對應,比如我的當前版本為2.4.0,去官網查詢:
還有%%引號和%要注意區分。
配置完之后,IDEA會自動下載相關依賴包。注意:要自動
點擊下Enable ,否則不會自動導入。成功之后會有如下顯示:
五、創建Scala程序
下面我們來創建一個Scala程序:
剛創建的BlogTest-src-main-scala,選擇new-scala Class-Object
編輯內容:
運行的時候,在main函數右鍵,選擇“Run 'BlogTest'”命令:
然后等待結果:
說明/etc/passwd文件有44行。
六、導出jar包
File-project Structure - + -JAR-From modules with dependencies,選擇自己編寫的類,和輸出jar包的位置
之后就可以執行buid操作,buid-Buid Artifaces:
查看jar包,備注后來output目錄更改了一下
編譯生成Jar包,spark-submit就可以提交生成的Jar包。