理解Spark運行模式（三）(STANDALONE和Local)

前兩篇介紹了Spark的yarn client和yarn cluster模式，本篇繼續介紹Spark的STANDALONE模式和Local模式。

下面具體還是用計算PI的程序來說明，examples中該程序有三個版本，分別采用Scala、Python和Java語言編寫。本次用Java程序JavaSparkPi做說明。

package org.apache.spark.examples;

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;

import java.util.ArrayList;
import java.util.List;

/**
 * Computes an approximation to pi
 * Usage: JavaSparkPi [partitions]
 */
public final class JavaSparkPi {

  public static void main(String[] args) throws Exception {
    SparkSession spark = SparkSession
      .builder()
      .appName("JavaSparkPi")
      .getOrCreate();

    JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());

    int slices = (args.length == 1) ? Integer.parseInt(args[0]) : 2;
    int n = 100000 * slices;
    List<Integer> l = new ArrayList<>(n);
    for (int i = 0; i < n; i++) {
      l.add(i);
    }

    JavaRDD<Integer> dataSet = jsc.parallelize(l, slices);

    int count = dataSet.map(integer -> {
      double x = Math.random() * 2 - 1;
      double y = Math.random() * 2 - 1;
      return (x * x + y * y <= 1) ? 1 : 0;
    }).reduce((integer, integer2) -> integer + integer2);

    System.out.println("Pi is roughly " + 4.0 * count / n);

    spark.stop();
  }
}

程序邏輯與之前的Scala和Python程序一樣，就不再多做說明了。對比Scala、Python和Java程序，同樣計算PI的邏輯，程序分別是26行、30行和43行，可以看出編寫Spark程序，使用Scala或者Python比Java來得更加簡潔，因此推薦使用Scala或者Python編寫Spark程序。

下面來以STANDALONE方式來執行這個程序，執行前需要啟動Spark自帶的集群服務（在master上執行$SPARK_HOME/sbin/start-all.sh），最好同時啟動spark的history server，這樣即使在程序運行完以后也可以從Web UI中查看到程序運行情況。啟動Spark的集群服務后，會在master主機和slave主機上分別出現Master守護進程和Worker守護進程。而在Yarn模式下，就不需要啟動Spark的集群服務，只需要在客戶端部署Spark即可，而STANDALONE模式需要在集群每台機器都部署Spark。

輸入以下命令：

[root@BruceCentOS4 jars]# $SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://BruceCentOS.Hadoop:7077 $SPARK_HOME/examples/jars/spark-examples_2.11-2.3.0.jar

以下是程序運行輸出信息部分截圖，

開始部分：

  中間部分：

  結束部分：

 

從上面的程序輸出信息科看出，Spark Driver是運行在客戶端BruceCentOS4上的SparkSubmit進程當中的，集群是Spark自帶的集群。

SparkUI上的Executor信息：

  BruceCentOS4上的客戶端進程（包含Spark Driver）：

  BruceCentOS3上的Executor進程：

 BruceCentOS上的Executor進程：

  BruceCentOS2上的Executor進程：

 

下面具體描述下Spark程序在standalone模式下運行的具體流程。

這里是一個流程圖：

 

 

 

 

1. SparkContext連接到Master，向Master注冊並申請資源（CPU Core 和Memory）。
2. Master根據SparkContext的資源申請要求和Worker心跳周期內報告的信息決定在哪個Worker上分配資源，然后在該Worker上獲取資源，然后啟動CoarseGrainedExecutorBackend。
3. CoarseGrainedExecutorBackend向SparkContext注冊。
4. SparkContext將Applicaiton代碼發送給CoarseGrainedExecutorBackend；並且SparkContext解析Applicaiton代碼，構建DAG圖，並提交給DAG Scheduler分解成Stage（當碰到Action操作時，就會催生Job；每個Job中含有1個或多個Stage，Stage一般在獲取外部數據和shuffle之前產生），然后以Stage（或者稱為TaskSet）提交給Task Scheduler，Task Scheduler負責將Task分配到相應的Worker，最后提交給CoarseGrainedExecutorBackend執行。
5. CoarseGrainedExecutorBackend會建立Executor線程池，開始執行Task，並向SparkContext報告，直至Task完成。
6. 所有Task完成后，SparkContext向Master注銷，釋放資源。

最后來看Local運行模式，該模式就是在單機本地環境執行，主要用於程序測試。程序的所有部分，包括Client、Driver和Executor全部運行在客戶端的SparkSubmit進程當中。Local模式有三種啟動方式。

#啟動1個Executor運行任務（1個線程）

[root@BruceCentOS4 ~]#$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master local $SPARK_HOME/examples/jars/spark-examples_2.11-2.3.0.jar

#啟動N個Executor運行任務（N個線程），這里N=2

[root@BruceCentOS4 ~]#$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master local[2] $SPARK_HOME/examples/jars/spark-examples_2.11-2.3.0.jar

#啟動*個Executor運行任務（*個線程），這里*指代本地機器上的CPU核的個數。

[root@BruceCentOS4 ~]#$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master local[*] $SPARK_HOME/examples/jars/spark-examples_2.11-2.3.0.jar

 

以上就是個人對Spark運行模式(STANDALONE和Local)的一點理解，其中參考了“求知若渴 虛心若愚”博主的“Spark(一): 基本架構及原理”的部分內容（其中基於Spark2.3.0對某些細節進行了修正），在此表示感謝。