本地idea調試spark2.x程序


1.構建使用idea 構建maven 項目

選擇org.scala-tools.archetypes:scala-archetype-simple,然后一直點next,maven最好選中本地配置國內源的而不適用idea自生的。

工程創建好后,點擊Event Log

修改pox.xml文件(設置scala的版本默認創建為2.7.0的)

Error:scalac: error while loading JUnit4, Scala signature JUnit4 has wrong version
expected: 5.0
found: 4.1 in JUnit4.class
上述問題解決方法
1.治標不治本
直接注釋test目錄下報錯的代碼即可
2.根治方法(試了下但沒成功)
點擊file->Settings->Plugins 搜索junit,按下圖安裝好后重啟idea即可

2.添加spark程序所依賴的jar包 (修改pom.xm用maven添加的不知道為什么不能運行)

點擊file->Project Setting->Libaries添加jar包
    jar包來源:spark官網下載下載編譯過的安裝包(如下圖類型的)


把安裝包中的jars目錄中的jar全部添加到工程中(可根據自己需求添加)
添加完后編寫spark應用程序設置為本地模式便可以在idea上直接運行調試


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM