yarn的配置參數解釋

屬性名稱	默認值	含義
spark.yarn.am.memory	512m	client模式下，YARN Application Master使用的內存總量
spark.yarn.am.cores	1	client模式下，Application Master使用的cpu數量
spark.driver.cores	1	cluster模式下，driver使用的cpu core數量，driver與Application Master運行在一個進程中，所以也控制了Application Master的cpu數量
spark.yarn.am.waitTime	100s	cluster模式下，Application Master要等待SparkContext初始化的時長; client模式下，application master等待driver來連接它的時長
spark.yarn.submit.file.replication	hdfs副本數	作業寫到hdfs上的文件的副本數量，比如工程jar，依賴jar，配置文件等，最小一定是1
spark.yarn.preserve.staging.files	false	如果設置為true，那么在作業運行完之后，會避免工程jar等文件被刪除掉
spark.yarn.scheduler.heartbeat.interval-ms	3000	application master向resourcemanager發送心跳的間隔，單位ms
spark.yarn.scheduler.initial-allocation.interval	200ms	application master在有pending住的container分配需求時，立即向resourcemanager發送心跳的間隔
spark.yarn.max.executor.failures	executor數量*2，最小3	整個作業判定為失敗之前，executor最大的失敗次數
spark.yarn.historyServer.address	無	spark history server的地址
spark.yarn.dist.archives	無	每個executor都要獲取並放入工作目錄的archive
spark.yarn.dist.files	無	每個executor都要放入的工作目錄的文件
spark.executor.instances	2	默認的executor數量
spark.yarn.executor.memoryOverhead	executor內存10%	每個executor的堆外內存大小，用來存放諸如常量字符串等東西
spark.yarn.driver.memoryOverhead	driver內存7%	同上
spark.yarn.am.memoryOverhead	AM內存7%	同上
spark.yarn.am.port	隨機	application master端口
spark.yarn.jar	無	spark jar文件的位置
spark.yarn.access.namenodes	無	spark作業能訪問的hdfs namenode地址
spark.yarn.containerLauncherMaxThreads	25	application master能用來啟動executor container的最大線程數量
spark.yarn.am.extraJavaOptions	無	application master的jvm參數
spark.yarn.am.extraLibraryPath	無	application master的額外庫路徑
spark.yarn.maxAppAttempts	/	提交spark作業最大的嘗試次數
spark.yarn.submit.waitAppCompletion	true	cluster模式下，client是否等到作業運行完再退出