num-executors
參數說明：該參數用於設置Spark作業總共要用多少個Executor進程來執行。Driver在向YARN集群管理器申請資源時，YARN集群管理器會盡可能按照你的設置來在集群的各個工作節點上，啟動相應數量的Executor進程。這個參數非常之重要，如果不設置的話，默認只會給你啟動少量的Executor進程，此時你的Spark作業的運行速度是非常慢的。
參數調優建議：每個Spark作業的運行一般設置50~100個左右的Executor進程比較合適，設置太少或太多的Executor進程都不好。設置的太少，無法充分利用集群資源；設置的太多的話，大部分隊列可能無法給予充分的資源。
executor-memory
參數說明：該參數用於設置每個Executor進程的內存。Executor內存的大小，很多時候直接決定了Spark作業的性能，而且跟常見的JVM OOM異常，也有直接的關聯。
參數調優建議：每個Executor進程的內存設置4G~8G較為合適。但是這只是一個參考值，具體的設置還是得根據不同部門的資源隊列來定。可以看看自己團隊的資源隊列的最大內存限制是多少，num-executors乘以executor-memory，就代表了你的Spark作業申請到的總內存量（也就是所有Executor進程的內存總和），這個量是不能超過隊列的最大內存量的。此外，如果你是跟團隊里其他人共享這個資源隊列，那么申請的總內存量最好不要超過資源隊列最大總內存的1/3~1/2，避免你自己的Spark作業占用了隊列所有的資源，導致別的同學的作業無法運行。
executor-cores
參數說明：該參數用於設置每個Executor進程的CPU core數量。這個參數決定了每個Executor進程並行執行task線程的能力。因為每個CPU core同一時間只能執行一個task線程，因此每個Executor進程的CPU core數量越多，越能夠快速地執行完分配給自己的所有task線程。
參數調優建議：Executor的CPU core數量設置為2~4個較為合適。同樣得根據不同部門的資源隊列來定，可以看看自己的資源隊列的最大CPU core限制是多少，再依據設置的Executor數量，來決定每個Executor進程可以分配到幾個CPU core。同樣建議，如果是跟他人共享這個隊列，那么num-executors * executor-cores不要超過隊列總CPU core的1/3~1/2左右比較合適，也是避免影響其他同學的作業運行。
driver-memory
官方解釋：driver-memory可以設置driver最大堆內存
driver作用：
1）創建spark的上下文
2）划分RDD並生成有向無環圖（DAGScheduler）
3）與spark中的其他組進行協調，協調資源等等（SchedulerBackend）
4）生成並發送task到executor（taskScheduler）
博客來源：https://www.cnblogs.com/xjh713/p/7309426.html
調優：
1) executor_cores*num_executors 不宜太小或太大!一般不超過總隊列 cores 的 25%，比如隊列總 cores 400，最大不要超過100，最小不建議低於 40，除非日志量很小。
2) executor_cores 不宜為1!否則 work 進程中線程數過少，一般 2~4 為宜。
3) executor_memory 一般 6~10g 為宜，最大不超過 20G，否則會導致 GC 代價過高，或資源浪費嚴重。
4) spark_parallelism 一般為 executor_cores*num_executors 的 1~4 倍，系統默認值 64，不設置的話會導致 task 很多的時候被分批串行執行，或大量 cores 空閑，資源浪費嚴重。
5) driver-memory 早前有同學設置 20G，其實 driver 不做任何計算和存儲，只是下發任務與yarn資源管理器和task交互，除非你是 spark-shell，否則一般 1-2g 就夠了。