通用可選參數:
- --master
MASTER_URL, 可 以 是 spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local
- --deploy-mode
DEPLOY_MODE, Driver 程序運行的地方,client 或者 cluster,默認是client。
- --class
CLASS_NAME, 主類名稱,含包名
- --jars
逗號分隔的本地 JARS, Driver 和 executor 依賴的第三方 jar 包
- --files
用逗號隔開的文件列表,會放置在每個 executor 工作目錄中
- --conf
spark 的配置屬性
- --driver-memory
Driver 程序使用內存大小(例如:1000M,5G),默認 1024M
- --executor-memory
每個 executor 內存大小(如:1000M,2G),默認 1G
Spark standalone with cluster deploy mode only:
- --driver-cores
Driver 程序的使用 core 個數(默認為 1),僅限於 Spark standalone模式
Spark standalone or Mesos with cluster deploy mode only:
- --supervise
失敗后是否重啟 Driver,僅限於 Spark alone 或者 Mesos 模式
Spark standalone and Mesos only:
- --total-executor-cores
executor 使用的總核數,僅限於 SparkStandalone、Spark on Mesos模式
Spark standalone and YARN only:
- --executor-cores
每個 executor 使用的 core 數,Spark on Yarn 默認為 1,standalone 默認為 worker 上所有可用的 core。
YARN-only:
- --driver-cores
driver 使用的 core,僅在 cluster 模式下,默認為 1。
- --queue
QUEUE_NAME 指定資源隊列的名稱,默認:default
- --num-executors
一共啟動的 executor 數量,默認是 2 個。
####################################################################################################################################################
spark-submit 詳細參數說明
| 參數名 | 參數說明 |
| --master | master 的地址,提交任務到哪里執行,例如 spark://host:port, yarn, local |
| --deploy-mode | 在本地 (client) 啟動 driver 或在 cluster 上啟動,默認是 client |
| --class | 應用程序的主類,僅針對 java 或 scala 應用 |
| --name | 應用程序的名稱 |
| --jars | 用逗號分隔的本地 jar 包,設置后,這些 jar 將包含在 driver 和 executor 的 classpath 下 |
| --packages | 包含在driver 和executor 的 classpath 中的 jar 的 maven 坐標 |
| --exclude-packages | 為了避免沖突 而指定不包含的 package |
| --repositories | 遠程 repository |
| --conf PROP=VALUE | 指定 spark 配置屬性的值, 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m" |
| --properties-file | 加載的配置文件,默認為 conf/spark-defaults.conf |
| --driver-memory | Driver內存,默認 1G |
| --driver-java-options | 傳給 driver 的額外的 Java 選項 |
| --driver-library-path | 傳給 driver 的額外的庫路徑 |
| --driver-class-path | 傳給 driver 的額外的類路徑 |
| --driver-cores | Driver 的核數,默認是1。在 yarn 或者 standalone 下使用 |
| --executor-memory | 每個 executor 的內存,默認是1G |
| --total-executor-cores | 所有 executor 總共的核數。僅僅在 mesos 或者 standalone 下使用 |
| --num-executors | 啟動的 executor 數量。默認為2。在 yarn 下使用 |
| --executor-core | 每個 executor 的核數。在yarn或者standalone下使用 |
spark-submit 詳細參數說明
| 參數名 | 參數說明 |
| --master | master 的地址,提交任務到哪里執行,例如 spark://host:port, yarn, local |
| --deploy-mode | 在本地 (client) 啟動 driver 或在 cluster 上啟動,默認是 client |
| --class | 應用程序的主類,僅針對 java 或 scala 應用 |
| --name | 應用程序的名稱 |
| --jars | 用逗號分隔的本地 jar 包,設置后,這些 jar 將包含在 driver 和 executor 的 classpath 下 |
| --packages | 包含在driver 和executor 的 classpath 中的 jar 的 maven 坐標 |
| --exclude-packages | 為了避免沖突 而指定不包含的 package |
| --repositories | 遠程 repository |
| --conf PROP=VALUE | 指定 spark 配置屬性的值, 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m" |
| --properties-file | 加載的配置文件,默認為 conf/spark-defaults.conf |
| --driver-memory | Driver內存,默認 1G |
| --driver-java-options | 傳給 driver 的額外的 Java 選項 |
| --driver-library-path | 傳給 driver 的額外的庫路徑 |
| --driver-class-path | 傳給 driver 的額外的類路徑 |
| --driver-cores | Driver 的核數,默認是1。在 yarn 或者 standalone 下使用 |
| --executor-memory | 每個 executor 的內存,默認是1G |
| --total-executor-cores | 所有 executor 總共的核數。僅僅在 mesos 或者 standalone 下使用 |
| --num-executors | 啟動的 executor 數量。默認為2。在 yarn 下使用 |
| --executor-core | 每個 executor 的核數。在yarn或者standalone下使用 |
