安裝JDK
- 從這里下載Java 8的JDK
- 設置
JAVA_HOME環境變量,在Mac上它大概會是/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/這個樣子
我選擇的是在~/.bash_profile文件里添加一句:
export JAVA_HOME=/path/to/JDK,路徑換成自己的JDK路徑
安裝Maven
Mac下用Brew安裝即可:
brew install maven
Intellij IDEA
以下基本跟spark開發環境搭建(基於idea 和maven)一樣,詳細可以去這里看
下載和安裝
這個……去官網下載即可,學生可以申請學生賬號,挺方便的
配置Intellij IDEA
-
安裝scala插件: 打開Intellij IDEA右下角的
Configure,然后選擇Plugins,搜索scala插件並安裝,安裝完之后重啟IDE。 -
設置全局JDK: 在我的IDEA版本里是選擇
Structure for New Projects,在彈出的界面依次選擇Project-New-JDK,把目錄設置成跟JAVA_HOME一樣的目錄 -
設置全局
Scala SDK: 還是剛剛Structure for New Projects的界面,在Global Libraries選項卡下點+后選擇Scala SDK,然后會彈出一個界面如下:

我不像那位Po主一樣有
System選項,所以需要選擇Download去下載一個SDK。!!!!!!!!這里有一個要點!!!!!!!!
注意一下你的Spark是什么版本的,比如我用的Spark 2.1.2,在官網上有這么一句:

所以下載的時候選擇
2.11版本的scala即可,太高和太低都有可能出問題= =,我之前下了2.13出現跟這里一樣的錯誤。下載完之后
Global Libraries里就有這個sdk啦,然后在這個sdk上右鍵,點擊Copy to Project Libraries
新建Maven項目
點新建項目,然后選擇Maven項目,在右側Project SDK看看是不是成功配置了我們的JDK,然后設置好GroupId,ArtifactId和Version
運行scala程序
可以把main\java, main\resources 和 test 都暫時刪掉,它們的作用見這篇文章
將Scala的框架添加到這個項目中,方法是在左側欄中的項目名稱上右鍵菜單中點擊
Add Framework Support…,然后在打開的對話框左側邊欄中,勾選Scala前面的復選框,然后點擊確定即可。
我是不用單獨再導入這個框架,直接做下一步就可以了
在
main文件夾中建立一個名為scala的文件夾,並右鍵點擊scala文件夾,選擇Make Directory as,然后選擇Sources Root,這里主要意思是將 scala 文件夾標記為一個源文件的根目錄,然后在其內的所有代碼中的 package ,其路徑就從這個根目錄下開始算起。
這一步非常重要!!!!! 不做這個下一步可能涼涼
在已經標記好為源文件根目錄的 scala 文件夾 上,右鍵選擇
New,然后選擇Scala Class,隨后設置好程序的名稱,並且記得將其設置為一個Object(類似於Java中含有靜態成員的靜態類),正常的話,將會打開這個Object代碼界面,並且可以看到IntelliJ IDEA自動添加了一些最基本的信息;
在Object元素內 輸入:def main(args: Array[String]):Unit = { println("Hello World!") }
然后就可以Run它,會輸出結果。
調試Spark
首先要修改pom.xml里導入相關依賴,注意scala和spark的版本要寫對。每次修改完pom.xml之后記得Import Changes。點擊右上角的Edit Configurations:

設置一下VM參數:

然后就可以正常Run了,理論上應該不會報錯,如果有問題可以試試在terminal里輸入mvn clean和mvn install安裝需要的依賴。
