一、idea社區版安裝scala插件
因為idea默認不支持scala開發環境,所以當需要使用idea搭建scala開發環境時,首先需要安裝scala插件,具體安裝辦法如下。
1、打開idea,點擊configure下拉菜單中的plugins選項:
2、在彈出對話框中點擊紅框按鈕:
3、在彈出最新對話框的搜索欄輸入scala,在篩選出的內容中選擇紅框部分,點擊右側install按鈕開始下載插件:
本人在測試過程中通過install自動下載插件失敗,最后選擇手動下載scala插件,然后通過步驟2中install plugin from disk選項,選擇手動下載zip包的方式安裝插件成功。
二、創建scala工程
1、下載scala安裝文件,並解壓到d:\目錄下:
https://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.zip
2、打開idea開發工具,選擇“create new project”,創建一個新的工程:
3、下圖中選擇jdk版本、選擇scala、以及scala依賴包位置(scala安裝軟件位置),next:
4、輸入工程名稱並且選擇工程位置,點擊finash:
5、完成工程創建后如下:
三、配置scala工程
1、file->preject structure:
2、modulesàsrcànew folder方式創建文件夾:
3、完成文件創建后,點擊ok完成配置。
工程結構如下:
四、為工程導入spark jar包
1、首先解壓縮spark安裝包到d:\目錄下:
D:\spark-1.3.0-bin-2.5.0-cdh5.3.6
2、fileàproject structure:
3、在對話框選擇librariesà+àjava:
4、在彈出對話框內選擇spark解壓目錄,選中spark lib目錄下所有jar包,點擊ok導入所有jar包:
5、點擊ok,完成spark jar包導入scala工程:
五、編寫wordcount程序進行基准測試
1、在scala工程中創建packet,並且創建測試spark類,並且編寫wordcount程序代碼,如下:
package Chavin.King.SparkApp |
截圖如下:
2、代碼完成之后,右鍵à選擇run “SparkApp”,運行程序進行功能測試。
3、打包SparkApp程序:
File—>preject structureàartifactsà+àJARàfrom modules with dependencies:
下圖中選擇要編譯的主類,點擊ok:
刪除output layout下的所有依賴jar包,並且指定output directory,點擊ok:
回到idea主頁面,點擊buildàbuild artifacts:
SaprkApp.jar—>build,進行jar包編譯:
編譯完成后到d:\下可以看到我們編譯的jar包。
4、測試編譯的jar包(SparkApp.jar):
4.1)刪除hdfs輸出目錄:
bin/hdfs dfs -rm -r hdfs://chavin.king:9000/user/hadoop/mapreduce/wordcount/output00000
4.2)spark-submit方式測試jar包:
bin/spark-submit \
--master yarn \
--deploy-mode client \
/opt/datas/SparkApp.jar