Spark調度模式 FIFO和FAIR
Spark中的調度模式主要有兩種：FIFO和FAIR。
默認情況下Spark的調度模式是FIFO（先進先出），誰先提交誰先執行，后面的任務需要等待前面的任務執行。
而FAIR（公平調度）模式支持在調度池中為任務進行分組，不同的調度池權重不同，任務可以按照權重來決定執行順序。
資源分配概述
-
spark的分配資源主要就是 executor、cpu per executor、memory per executor、driver memory 等的調節，在我們在生產環境中，提交spark作業時，用的spark-submit shell腳本，里面調整對應的參數：
spark-submit \
--class cn.spark.sparktest.core.WordCountCluster \
--num-executors 3 \ 配置executor的數量
--driver-memory 100m \ 配置driver的內存（影響不大）
--executor-memory 100m \ 配置每個executor的內存大小
--executor-cores 3 \ 配置每個executor的cpu core數量
/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \
如何分配資源
-
首先要了解你的機子的資源，多大的內存，多少個cpu core，就根據這個實際情況去設置，能使用多少資源，就盡量去調節到最大的大小（executor的數量，幾十個到上百個不等；executor內存；executor cpu core）。一個cpu對應2-3task合理
-
Standalone 模式
- 如果每台機器可用內存是4G，2個cpu core，20台機器，
- 那可以設置：20個executor，每個executor4G內存，2個cpu core（資源最大化利用）。
-
yarn 模式下
- 根據spark要提交的資源隊列資源來考慮，如果所在隊列資源為500G內存，100個cpu core。
- 可以設置50個executor；每個executor10G內存2個cpu
-
- 調節資源后，SparkContext，DAGScheduler，TaskScheduler，會將我們的算子，切割成大量的task，提交到Application的executor上面去執行。
分配資源策略
-
給application分配資源選擇worker（executor），現在有兩種策略 ：
- 盡量的打散，即一個Application盡可能多的分配到不同的節點。這個可以通過設置spark.deploy.spreadOut來實現。默認值為true，即盡量的打散。（默認）
- 盡量的集中，即一個Application盡量分配到盡可能少的節點。
分配資源分析
-
增加每個executor的cpu core，也是增加了執行的並行能力。原本20個executor，每個才2個cpu core。能夠並行執行的task數量，就是40個task。
- 如果現在每個executor的cpu core，增加到了5個。能夠並行執行的task數量，就是100個task。執行的速度，提升了2.5倍。
- 如果executor數量比較少，那么能夠並行執行的task數量就比較少，就意味着，我們的Application的並行執行的能力就很弱。
比如有3個executor，每個executor有2個cpu core，那么同時能夠並行執行的task就是6個。6個執行完以后，再換下一批6個task。
- 增加了executor數量以后，那么就意味着能夠並行執行的task數量，也就變多了。比如原先是6個，現在可能可以並行執行10個，甚至20個，100個。那么並行能力就比之前提升了數倍，數十倍。相應的，性能（執行的速度），也能提升數倍~數十倍。
-
增加每個executor的內存量。增加了內存量以后，對性能的提升有幾點：
- 如果需要對RDD進行cache，那么更多的內存，就可以緩存更多的數據，將更少的數據寫入磁盤，甚至不寫入磁盤。減少了磁盤IO。
- 對於shuffle操作，reduce端，會需要內存來存放拉取的數據並進行聚合。如果內存不夠，也會寫入磁盤。如果給executor分配更多內存以后，就有更少的數據，需要寫入磁盤，甚至不需要寫入磁盤。減少了磁盤IO，提升了性能。
- 對於task的執行，可能會創建很多對象。如果內存比較小，可能會頻繁導致JVM堆內存滿了，然后頻繁GC，垃圾回收， GC和full GC。（速度很慢）。內存加大以后，帶來更少的GC，垃圾回收，避免了速度變慢，速度變快了。