使用IDEA開發SPARK提交remote cluster執行

開發環境

操作系統：windows

開發工具：IntelliJ IDEA  14.1.1 需要安裝scala插件

編譯環境：jdk 1.7   scala 2.10.4

使用IDEA開發spark應用

1：新建scala項目：

2：選擇scala版本，需要spark的scala版本對應

點擊上圖Scala SDK的create按鈕，彈出如下對話框，選擇紅框

3：添加spark的jar作為library

我直接復制spark安裝目錄下面的lib里面所有的jar作為library.

4:編寫spark應用

1. import scala.math.random
2. import org.apache.spark._
3. /** Computes an approximation to pi */
4. object SparkPi{
5. def main(args:Array[String]){
6. val conf =newSparkConf().setAppName("Spark Pi").setMaster("spark://192.168.1.88:7077").
7. set("spark.driver.host","192.168.1.129").setJars(List("D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar"))
8. val spark =newSparkContext(conf)
9. val slices =if(args.length >0) args(0).toInt else2
10. val n =100000* slices
11. val count = spark.parallelize(1 to n, slices).map { i =>
12. val x = random *2-1
13. val y = random *2-1
14. if(x*x + y*y <1)1else0
15. }.reduce(_ + _)
16. println("Pi is roughly "+4.0* count / n)
17. spark.stop()
18. }
19. }

向遠程spark集群提交應用

上面的代碼中有段 setJars ( List ( "D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar" )) 這里要說明下，就是當前工程編譯的jar包的絕對路徑。 點擊File->Project Structure,彈出下面的對話框進行操作

 

 

好了現在就OK了

 

來自為知筆記(Wiz)