IDEA2017 maven Spark HelloWorld項目（本地斷點調試）

作為windows下的spark開發環境

1.應用安裝 首先安裝好idea2017 java8 scalaJDK spark hadoop（注意scala和spark的版本要匹配）

2.打開idea，創建建maven項目，如圖所示

 

項目創建好后，記得勾選maven auto upate選項，這個動作會觸發idea自動下載maven依賴的包 

3.修改pom文件如下 

<properties>
  <scala.version>2.11.11</scala.version>
</properties>

<dependencies>
  <dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>${scala.version}</version>
  </dependency>
  <dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>4.4</version>
    <scope>test</scope>
  </dependency>
  <dependency>
    <groupId>org.specs</groupId>
    <artifactId>specs</artifactId>
    <version>1.2.5</version>
    <scope>test</scope>
  </dependency>
</dependencies>

<configuration>
  <scalaVersion>${scala.version}</scalaVersion>
  <args>
    <arg>-target:jvm-1.8</arg>
  </args>
</configuration>

4.刪除test文件夾（因為會報junit等錯誤），在scala下創建新scala Object

並在Hello中加入main函數，最終Hello類如下 

object Hello {
  def main(args: Array[String]): Unit = {
    println("main begin...............")
    // 設置Spark的序列化方式
    System.setProperty("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
    // 初始化Spark
    val sparkConf = new SparkConf().setAppName("sparkDemo")
    val sc = new SparkContext(sparkConf)

    val a = sc.parallelize(List(1,2,3,3))
    val b = a.map(x => x+1)

    //    textfileTest("C:/Users/think/Desktop/1.txt");

    val colors = Map("red" -> "#FF0000",
      "azure" -> "#F0FFFF",
      "peru" -> "#CD853F")

    val nums: Map[Int, Int] = Map()

    println( "colors 中的鍵為 : " + colors.keys )
    println( "colors 中的值為 : " + colors.values )
    println( "檢測 colors 是否為空 : " + colors.isEmpty )
    println( "檢測 nums 是否為空 : " + nums.isEmpty )
    println("main end...............")
  }
}

5.開始斷點調試

 

點擊main方法左側籃框，將會觸發debug過程

如果出現以下錯誤

org.apache.spark.SparkException: A master URL must be set in your configuration

需要在debug config中的vm options加入下面這一行參數

-Dspark.master=local

 

6.調試界面

最終調試界面如下