Windows下IntelliJ IDEA中運行Spark Standalone

 

 

前提條件：

1、Spark Standalone 集群部署完成

2、Intellij Idea 能夠運行 Spark local 模式的程序。 

 

源碼：

import org.apache.spark.{SparkContext, SparkConf}
import scala.math._

/**
  * Created by Edward on 2016/8/27.
  */
object WordCount {
  def main(args: Array[String]) {

    val sparkConf = new SparkConf().setAppName("WordCount")
      .setMaster("spark://node1:7077").setJars(List("D:\\documents\\Spark\\MyDemo\\Test\\out\\artifacts\\spark_sample_jar\\Test.jar"))
    //val sc = new SparkContext(sparkConf)
    val spark = new SparkContext(sparkConf)
    val slices = if (args.length > 0) args(0).toInt else 2
    val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
    val count = spark.parallelize(1 until n, slices).map { i =>
        val x = random * 2 - 1
        val y = random * 2 - 1
        if (x*x + y*y < 1) 1 else 0
      }.reduce(_ + _)
    println("Pi is roughly " + 4.0 * count / n)
    spark.stop()
  }
}

這里主要的思想還是將打包的jar提交到集群。

使用.setJars方法