spark-submit參數詳解


 

 

通用可選參數:

  •  --master

       MASTER_URL, 可 以 是 spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local

  • --deploy-mode

       DEPLOY_MODE, Driver 程序運行的地方,client 或者 cluster,默認是client。

  •  --class

       CLASS_NAME, 主類名稱,含包名

  • --jars

        逗號分隔的本地 JARS, Driver 和 executor 依賴的第三方 jar 包

  •  --files

       用逗號隔開的文件列表,會放置在每個 executor 工作目錄中

  • --conf

       spark 的配置屬性

  • --driver-memory

      Driver 程序使用內存大小(例如:1000M,5G),默認 1024M

  •  --executor-memory

      每個 executor 內存大小(如:1000M,2G),默認 1G

Spark standalone with cluster deploy mode only:

  • --driver-cores

      Driver 程序的使用 core 個數(默認為 1),僅限於 Spark standalone模式

Spark standalone or Mesos with cluster deploy mode only:

  •  --supervise

        失敗后是否重啟 Driver,僅限於 Spark alone 或者 Mesos 模式

Spark standalone and Mesos only:

  • --total-executor-cores

       executor 使用的總核數,僅限於 SparkStandalone、Spark on Mesos模式

Spark standalone and YARN only:

  • --executor-cores

       每個 executor 使用的 core 數,Spark on Yarn 默認為 1,standalone 默認為 worker 上所有可用的 core。

YARN-only:

  • --driver-cores

       driver 使用的 core,僅在 cluster 模式下,默認為 1。

  •  --queue

      QUEUE_NAME 指定資源隊列的名稱,默認:default

  • --num-executors

       一共啟動的 executor 數量,默認是 2 個。

####################################################################################################################################################

spark-submit 詳細參數說明

參數名 參數說明
--master  master 的地址,提交任務到哪里執行,例如 spark://host:port,  yarn,  local
--deploy-mode  在本地 (client) 啟動 driver 或在 cluster 上啟動,默認是 client
--class  應用程序的主類,僅針對 java 或 scala 應用
--name  應用程序的名稱
--jars  用逗號分隔的本地 jar 包,設置后,這些 jar 將包含在 driver 和 executor 的 classpath 下
--packages  包含在driver 和executor 的 classpath 中的 jar 的 maven 坐標
--exclude-packages  為了避免沖突 而指定不包含的 package
--repositories  遠程 repository
--conf PROP=VALUE

 指定 spark 配置屬性的值,

 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"

--properties-file  加載的配置文件,默認為 conf/spark-defaults.conf
--driver-memory  Driver內存,默認 1G
--driver-java-options  傳給 driver 的額外的 Java 選項
--driver-library-path  傳給 driver 的額外的庫路徑
--driver-class-path  傳給 driver 的額外的類路徑
--driver-cores  Driver 的核數,默認是1。在 yarn 或者 standalone 下使用
--executor-memory  每個 executor 的內存,默認是1G
--total-executor-cores  所有 executor 總共的核數。僅僅在 mesos 或者 standalone 下使用
--num-executors  啟動的 executor 數量。默認為2。在 yarn 下使用
--executor-core  每個 executor 的核數。在yarn或者standalone下使用

spark-submit 詳細參數說明

參數名 參數說明
--master  master 的地址,提交任務到哪里執行,例如 spark://host:port,  yarn,  local
--deploy-mode  在本地 (client) 啟動 driver 或在 cluster 上啟動,默認是 client
--class  應用程序的主類,僅針對 java 或 scala 應用
--name  應用程序的名稱
--jars  用逗號分隔的本地 jar 包,設置后,這些 jar 將包含在 driver 和 executor 的 classpath 下
--packages  包含在driver 和executor 的 classpath 中的 jar 的 maven 坐標
--exclude-packages  為了避免沖突 而指定不包含的 package
--repositories  遠程 repository
--conf PROP=VALUE

 指定 spark 配置屬性的值,

 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"

--properties-file  加載的配置文件,默認為 conf/spark-defaults.conf
--driver-memory  Driver內存,默認 1G
--driver-java-options  傳給 driver 的額外的 Java 選項
--driver-library-path  傳給 driver 的額外的庫路徑
--driver-class-path  傳給 driver 的額外的類路徑
--driver-cores  Driver 的核數,默認是1。在 yarn 或者 standalone 下使用
--executor-memory  每個 executor 的內存,默認是1G
--total-executor-cores  所有 executor 總共的核數。僅僅在 mesos 或者 standalone 下使用
--num-executors  啟動的 executor 數量。默認為2。在 yarn 下使用
--executor-core  每個 executor 的核數。在yarn或者standalone下使用


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM