近期開始研究學習spark,開發環境有多種,由於習慣使用STS的maven項目,但是按照許多資料的方法嘗試以后並沒有成功,也可能是我環境問題;也可以是用scala中自帶的eclipse,但是不太習慣,聽說支持也不太好,好多問題;咨詢一些人后說,IDEA對scala的支持比較好。所以嘗試使用IDEA來構建Spark開發環境;
1. 安裝JDK
2. 安裝IDEA最新版,目前是IDEA 14,社區免費版就可以;
3. 安裝scala插件,運行IDEA,初次運行,可以直接再彈出的tab框中選擇“Configure” -> "plugins",如果已經使用過在工程頁面,“File” -> "Settings" -> "Plugins" 或者Ctrl + Alt + S, 輸入“scala”, 安裝插件即可

4. 搭建Spark開發環境
4.1 下載spark的jar包, 在下載頁面選擇相應的spark版本, 包類型這里選擇spark1.2.0, 和Pre-build for Hadoop 2.4進行下載spark-1.2.0-bin-hadoop2.4.tgz,解壓, lib下的spark-assembly-1.2.0-hadoop2.4.0.jar是所需要的;
4.2 新建scala項目, “File” -> "New Project", 選擇scala,scala,next起名字,finish

4.3 導入spark包
在項目頁“File” -> "project structure" -> "Libraries", 點“+”,選“java”,找到spark-assembly-1.2.0-hadoop2.4.0.jar導入,這樣就可以編寫spark的scala程序了(例子有空補)
4.4 程序導出
如果在spark上運行程序,需要將程序導出為jar包,並將jar包上傳至spark集群運行。導出jar包分為兩步:
1)在項目頁“File” -> "project structure" ->"Artifacts", 點“+”,選“JAR”->"from modules with dependencies ..",在彈出的Create Jar from Modules中選擇Module和MainClass,點“OK”,然后分別選擇到導出的Jar包名, 導出路徑,導出文件,點“OK”;
2) 在項目頁“Build”->"Build Artifacts",選擇相應的jar包,build即可在目錄下生成相應jar包;
