eclipse + maven + scala+spark環境搭建

eclipse + maven + scala+spark環境搭建

一、配置eclipse + maven + scala環境

1. 在Eclipse Market中安裝Scala IDE、Maven

 

 

2. 安裝m2e-scala(圖中的url是：http://alchim31.free.fr/m2e-scala/update-site/)

 

二、測試eclipse+maven+scala的運行環境

1. 先來簡單測試一下eclipse+scala

1) 新建一個名為 Scala Project ，右鍵工程添加一個名為 test 的 Scala Object ，代碼如下：

 

2) 最終如圖示：

 

 

3) 右鍵 test.scala ， Run as…-> Scala Application ，在終端成功輸出了 hello world

2、再來測試一下ecliipse+scala+maven

1) 新建maven工程

 

---

如果沒有 scala 這一項，手動添加 Archetype. 最后點擊 Finish. 新建項目如下圖：

 

此時創建的工程還不是 scala 的工程，在項目名稱上點擊右鍵

 

點擊 Add Scala Nature后項目才轉換為scala-maven項目

然后pom.xml報下圖中的錯誤，解決辦法：在 plugins 的外層加標簽

 

 

這樣 maven+scala 的項目就成功搭建了。

三、配置spark的本地運行

1. 配置所需依賴包

1) 在 maven-sample 工程的基礎上配置 spark 。只需在 poml.xml 中添加 spark-core 。

1. <dependency>  
2.     <groupId>org.apache.spark</groupId>  
3.     <artifactId>spark-core_2.11</artifactId>  
4.     <version>1.2.1</version>  
5. </dependency>  

2) 在 default package 中添加 scala object – SimpleApp 。代碼如下：

1. /* SimpleApp.scala */  
2. import org.apache.spark.SparkContext  
3. import org.apache.spark.SparkContext._  
4. import org.apache.spark.SparkConf  
5.   
6. object SimpleApp {  
7.   def main(args: Array[String]) {  
8.     val logFile = "test.txt" // Should be some file on your system  
9.     val conf = new SparkConf().setAppName("Simple Application").setMaster("local[2]")  
10.     val sc = new SparkContext(conf)  
11.     val logData = sc.textFile(logFile, 2).cache()  
12.     val numAs = logData.filter(line => line.contains("a")).count()  
13.     val numBs = logData.filter(line => line.contains("b")).count()  
14.     println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))  
15.   }  
16. }  

3)Test.txt 文件需要在項目文件目錄中創建。內容如下：

1. a  
2. b  
3. c  
4. ab  
5. abab  
6. d  

4) 右鍵 SimpleApp.scala ， Run as -> Scala Application ，運行程序，發現報異常。

 

該異常解決辦法如下：

http://www.srccodes.com/p/article/39/error-util-shell-failed-locate-winutils-binary-hadoop-binary-path

網頁中提供了“Build, Install, Configure and Run Apache Hadoop 2.2.0 in MicrosoftWindows OS”的鏈接，也提供了現成的編譯好的包。直接將包下載下來，在工程目錄下建立null/bin目錄，並將下載包中的所有文件拷貝進了null/bin目錄。

 

5) 接下來，再運行 SimpleApp 程序，就沒有異常了。運行結果：

Lines with a: 3, Lines with b: 3

以上就是eclipse + maven + scala+spark環境搭建的所有步驟。