由於剛剛進入研究生階段,通過幾個月對大數據的學習,從java到hadoop,再到scala到spark。在這我寫一下我在ubuntu系統下intelliJ IDEA的安裝和配置。首先我的ubuntu系統是14.04的,hadoop-2.6.0,java-1.7.0,scala-2.10.5
在配置intelliJ IDEA前需要把java以及spark、scala需要安裝配置好
第一步下載IDEA壓縮包(我下的是ideaIC-15.0.2.tar),然后將壓縮包拷入ubuntu下home目錄下,然后解壓到opt目錄下
#sudo tar zxvf ideaIC-15.0.2.tar
#sudo mv idea-IC-143.1184.17 /opt
第二步下載插件
首先啟動intelliJ IDEA:在命令行終端中,進入$IDEA_HOME/bin目錄,輸入./idea.sh進行啟動,進入如下界面,然后選擇右下角“plugins”
然后進入以下界面,點擊Plugins,由於Scala插件沒有安裝,需要點擊”Install JetBrains plugins"進行安裝,如下圖所示:
然后進入以下界面,點擊下載,等下載安裝好后,點擊close就ok了
安裝插件后,在啟動界面中選擇創建新項目,彈出的界面中將會出現"Scala"類型項目,如下圖,選擇scala-》scala
點擊next,就如以下界面,project name自己隨便起的名字,把自己安裝的scala和jdk選中,注意,在選擇scala版本是一定不要選擇2.11.X版本,那樣后續會出大錯!完成后,點擊Finish
然后再File下選擇project Structure,然后進入如下界面,進入后點擊Libraries,在右邊框后沒任何信息,然后點擊“+”號,進入你安裝spark時候解壓的spark-XXX-bin-hadoopXX下,在lib目錄下,選擇spark-assembly-XXX-hadoopXX.jar,結果如下圖所示,然后點擊Apply,最后點擊ok

現在我們就可以在src下創建一個包,然后創建一個Object,如下圖,然后就可以用scala來編寫代碼了。
二,編寫代碼
我編寫了一個小代碼,單詞計數,代碼如下
在textFile("")中的內容為數據路徑,然后點擊Run就可以看到結果了。
過於包的導出以及在集群上運行下一篇介紹

