MacOS使用IDEA+Maven+Scala+Spark進行本地調試


參考:spark開發環境搭建(基於idea 和maven)

安裝JDK

  1. 這里下載Java 8的JDK
  2. 設置JAVA_HOME環境變量,在Mac上它大概會是/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/這個樣子
    我選擇的是在~/.bash_profile文件里添加一句:
    export JAVA_HOME=/path/to/JDK,路徑換成自己的JDK路徑

安裝Maven

Mac下用Brew安裝即可:

brew install maven

Intellij IDEA

以下基本跟spark開發環境搭建(基於idea 和maven)一樣,詳細可以去這里看

下載和安裝

這個……去官網下載即可,學生可以申請學生賬號,挺方便的

配置Intellij IDEA

  1. 安裝scala插件: 打開Intellij IDEA右下角的Configure,然后選擇Plugins,搜索scala插件並安裝,安裝完之后重啟IDE。

  2. 設置全局JDK: 在我的IDEA版本里是選擇Structure for New Projects,在彈出的界面依次選擇Project-New-JDK,把目錄設置成跟JAVA_HOME一樣的目錄

  3. 設置全局Scala SDK 還是剛剛Structure for New Projects的界面,在Global Libraries選項卡下點+后選擇Scala SDK,然后會彈出一個界面如下:

    我不像那位Po主一樣有System選項,所以需要選擇Download去下載一個SDK。

    !!!!!!!!這里有一個要點!!!!!!!!
    注意一下你的Spark是什么版本的,比如我用的Spark 2.1.2,在官網上有這么一句:

    所以下載的時候選擇2.11版本的scala即可,太高和太低都有可能出問題= =,我之前下了2.13出現跟這里一樣的錯誤。

    下載完之后Global Libraries里就有這個sdk啦,然后在這個sdk上右鍵,點擊Copy to Project Libraries

新建Maven項目

點新建項目,然后選擇Maven項目,在右側Project SDK看看是不是成功配置了我們的JDK,然后設置好GroupIdArtifactIdVersion

運行scala程序

可以把main\java, main\resourcestest 都暫時刪掉,它們的作用見這篇文章

將Scala的框架添加到這個項目中,方法是在左側欄中的項目名稱上右鍵菜單中點擊Add Framework Support…,然后在打開的對話框左側邊欄中,勾選Scala前面的復選框,然后點擊確定即可。

我是不用單獨再導入這個框架,直接做下一步就可以了

main文件夾中建立一個名為scala 的文件夾,並右鍵點擊scala文件夾,選擇Make Directory as,然后選擇Sources Root,這里主要意思是將 scala 文件夾標記為一個源文件的根目錄,然后在其內的所有代碼中的 package ,其路徑就從這個根目錄下開始算起。

這一步非常重要!!!!! 不做這個下一步可能涼涼

在已經標記好為源文件根目錄的 scala 文件夾 上,右鍵選擇 New,然后選擇 Scala Class,隨后設置好程序的名稱,並且記得將其設置為一個 Object(類似於Java中含有靜態成員的靜態類),正常的話,將會打開這個 Object 代碼界面,並且可以看到IntelliJ IDEA自動添加了一些最基本的信息;
Object元素內 輸入:

def main(args: Array[String]):Unit = {
   println("Hello World!")
}

然后就可以Run它,會輸出結果。

調試Spark

首先要修改pom.xml里導入相關依賴,注意scala和spark的版本要寫對。每次修改完pom.xml之后記得Import Changes。點擊右上角的Edit Configurations:

設置一下VM參數:

然后就可以正常Run了,理論上應該不會報錯,如果有問題可以試試在terminal里輸入mvn cleanmvn install安裝需要的依賴。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM