Eclipse+maven+scala+spark環境搭建


准備條件

我用的Eclipse版本 
Eclipse Java EE IDE for Web Developers. 
Version: Luna Release (4.4.0)

我用的是Eclipse for Java EE, 這個和Eclipse 是一樣的 
最好是用高版本的Eclipse,版本太低的話不支持Scala-IDE

1.安裝Scala-IDE

在Eclipse中開發Scala程序需要有scala插件,我們現在安裝scala插件 
下面是安裝過程截圖 
Scala IDE用於提供scala語言的開發環境。直接在Marketplace下載安裝,安裝后如下圖所示 

2.安裝m2e-scala插件

m2e-scala用來支持scala開發中對maven的一些定制功能。通過eclipse的Install New Software安裝。 
安裝過程 
1.Help->Install New Software 
 
2.輸入m2e-scala下載的url 
這一步我是跳過的,之前每次進行完這一步,我的Eclipse的maven插件反而找不到了,這個Eclipse自帶的是 
m2e-eclipse插件,每次一安裝m2e-scala插件后就找不到maven了,索性我就沒進行這一步,用Eclipse自帶的 m2e-eclipse. 
如下圖 

url為:http://alchim31.free.fr/m2e-scala/update-site/ 
這里可以僅勾選第三項(圖中紅框所示) 
 
3.安裝完成后,可在Help->Installation Details中查看 

3.新建Eclipse+scala+maven工程

新建maven工程 
 
此時的maven的Archetype需要設置為 org.scala-tools.archetypes 
如果沒有安裝Scala-IDE的話,會找不到org.scala-tools.archetypes這個類別 
然后Finish 
 
此時創建的工程還不是scala的工程,在項目名稱上點擊右鍵 

點擊 Add Scala Nature后項目才轉換為scala-maven項目 
然后pom.xml報下圖中的錯誤,解決辦法 
在 plugins 的外層加標簽

解決方法: 
 
此時又報錯 



意思是我有多個scala-library庫的構建路徑 
一個是scala-IDE插件帶的,一個是maven庫中的 
並且maven中自動設置的是scala版本是2.7.0的 
 
解決方法: 
把pox.xml中的scala-version改成和scala-IDE的版本一樣 
這時候還是提示有多個scala-library的構建路徑,但是不報錯了

 

我們用一個構建路徑,把其余的一個去掉 
這里我把pom.xml中的scala-library 注釋掉,只用scala-IDE的庫 
 
最后把自帶的‘App.scala中的代碼刪除 
這樣maven+scala的項目就成功搭建了。

4. Eclipse+maven+scala+spark

在pom.xml中加入spark的依賴 
我的spark的版本是 
 
這個版本的依賴 

<dependency> 
<groupId>org.apache.spark</groupId> 
<artifactId>spark-core_2.11</artifactId> 
<version>1.2.1</version> 
</dependency> 

我剛開始用的是 spark-core_2.10 ,結果報錯,后來換成spark-core_2.11才合適,2.11是對應的scala版本 
然后一陣狂下在spark的依賴,最后是這個樣子滴

 

終於把scala+maven+spark的環境搭建成功了,之前被maven那一步折騰的快瘋了,最后索性沒使用maven-for-scalaIDE


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM