1.構建使用idea 構建maven 項目
選擇org.scala-tools.archetypes:scala-archetype-simple,然后一直點next,maven最好選中本地配置國內源的而不適用idea自生的。
工程創建好后,點擊Event Log
修改pox.xml文件(設置scala的版本默認創建為2.7.0的)
Error:scalac: error while loading JUnit4, Scala signature JUnit4 has wrong version
expected: 5.0
found: 4.1 in JUnit4.class
上述問題解決方法
1.治標不治本
直接注釋test目錄下報錯的代碼即可
2.根治方法(試了下但沒成功)
點擊file->Settings->Plugins 搜索junit,按下圖安裝好后重啟idea即可
2.添加spark程序所依賴的jar包 (修改pom.xm用maven添加的不知道為什么不能運行)
點擊file->Project Setting->Libaries添加jar包
jar包來源:spark官網下載下載編譯過的安裝包(如下圖類型的)
把安裝包中的jars目錄中的jar全部添加到工程中(可根據自己需求添加)
添加完后編寫spark應用程序設置為本地模式便可以在idea上直接運行調試