安裝JDK
- 從這里下載Java 8的JDK
- 設置
JAVA_HOME
環境變量,在Mac上它大概會是/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/
這個樣子
我選擇的是在~/.bash_profile
文件里添加一句:
export JAVA_HOME=/path/to/JDK
,路徑換成自己的JDK路徑
安裝Maven
Mac下用Brew
安裝即可:
brew install maven
Intellij IDEA
以下基本跟spark開發環境搭建(基於idea 和maven)一樣,詳細可以去這里看
下載和安裝
這個……去官網下載即可,學生可以申請學生賬號,挺方便的
配置Intellij IDEA
-
安裝scala插件: 打開Intellij IDEA右下角的
Configure
,然后選擇Plugins
,搜索scala
插件並安裝,安裝完之后重啟IDE。 -
設置全局JDK: 在我的IDEA版本里是選擇
Structure for New Projects
,在彈出的界面依次選擇Project-New-JDK
,把目錄設置成跟JAVA_HOME
一樣的目錄 -
設置全局
Scala SDK
: 還是剛剛Structure for New Projects
的界面,在Global Libraries
選項卡下點+
后選擇Scala SDK
,然后會彈出一個界面如下:
我不像那位Po主一樣有
System
選項,所以需要選擇Download
去下載一個SDK。!!!!!!!!這里有一個要點!!!!!!!!
注意一下你的Spark
是什么版本的,比如我用的Spark 2.1.2
,在官網上有這么一句:
所以下載的時候選擇
2.11
版本的scala即可,太高和太低都有可能出問題= =,我之前下了2.13
出現跟這里一樣的錯誤。下載完之后
Global Libraries
里就有這個sdk啦,然后在這個sdk上右鍵,點擊Copy to Project Libraries
新建Maven項目
點新建項目,然后選擇Maven項目,在右側Project SDK
看看是不是成功配置了我們的JDK,然后設置好GroupId
,ArtifactId
和Version
運行scala程序
可以把main\java
, main\resources
和 test
都暫時刪掉,它們的作用見這篇文章
將Scala的框架添加到這個項目中,方法是在左側欄中的項目名稱上右鍵菜單中點擊
Add Framework Support…
,然后在打開的對話框左側邊欄中,勾選Scala
前面的復選框,然后點擊確定即可。
我是不用單獨再導入這個框架,直接做下一步就可以了
在
main
文件夾中建立一個名為scala
的文件夾,並右鍵點擊scala
文件夾,選擇Make Directory as
,然后選擇Sources Root
,這里主要意思是將 scala 文件夾標記為一個源文件的根目錄,然后在其內的所有代碼中的 package ,其路徑就從這個根目錄下開始算起。
這一步非常重要!!!!! 不做這個下一步可能涼涼
在已經標記好為源文件根目錄的 scala 文件夾 上,右鍵選擇
New
,然后選擇Scala Class
,隨后設置好程序的名稱,並且記得將其設置為一個Object
(類似於Java中含有靜態成員的靜態類),正常的話,將會打開這個Object
代碼界面,並且可以看到IntelliJ IDEA自動添加了一些最基本的信息;
在Object元素內 輸入:def main(args: Array[String]):Unit = { println("Hello World!") }
然后就可以Run
它,會輸出結果。
調試Spark
首先要修改pom.xml
里導入相關依賴,注意scala和spark的版本要寫對。每次修改完pom.xml
之后記得Import Changes
。點擊右上角的Edit Configurations
:
設置一下VM參數:
然后就可以正常Run
了,理論上應該不會報錯,如果有問題可以試試在terminal
里輸入mvn clean
和mvn install
安裝需要的依賴。