摘要
在Spark中，有Yarn-Client和Yarn-Cluster兩種模式可以運行在Yarn上，通常Yarn-Cluster適用於生產環境，而Yarn-Clientr更適用於交互，調試模式，以下是它們的區別
Spark插撥式資源管理
Spark支持Yarn,Mesos,Standalone三種集群部署模式，它們的共同點：Master服務(Yarn ResourceManager,Mesos master,Spark standalone)來決定哪些應用可以運行以及在哪什么時候運行，Slave服務(Yarn NodeManger)運行在每個節點上，節點上實際運行着Executor進程，此外還監控着它們的運行狀態以及資源的消耗
Spark On Yarn的優勢
1. Spark支持資源動態共享，運行於Yarn的框架都共享一個集中配置好的資源池
2. 可以很方便的利用Yarn的資源調度特性來做分類·，隔離以及優先級控制負載，擁有更靈活的調度策略
3.Yarn可以自由地選擇executor數量
4.Yarn是唯一支持Spark安全的集群管理器，使用Yarn，Spark可以運行於Kerberized Hadoop之上，在它們進程之間進行安全認證
Yarn-cluster VS Yarn-client
當在Spark On Yarn模式下，每個Spark Executor作為一個Yarn container在運行，同時支持多個任務在同一個container中運行，極大地節省了任務的啟動時間
Appliaction Master
為了更好的理解這兩種模式的區別先了解下Yarn的Application Master概念，在Yarn中，每個application都有一個Application Master進程，它是Appliaction啟動的第一個容器，它負責從ResourceManager中申請資源，分配資源，同時通知NodeManager來為Application啟動container，Application Master避免了需要一個活動的client來維持，啟動Applicatin的client可以隨時退出，而由Yarn管理的進程繼續在集群中運行
Yarn-cluster
在Yarn-cluster模式下，driver運行在Appliaction Master上，Appliaction Master進程同時負責驅動Application和從Yarn中申請資源，該進程運行在Yarn container內，所以啟動Application Master的client可以立即關閉而不必持續到Application的生命周期，下圖是yarn-cluster模式
Yarn-cluster模式下作業執行流程：
1. 客戶端生成作業信息提交給ResourceManager(RM)
2. RM在某一個NodeManager(由Yarn決定)啟動container並將Application Master(AM)分配給該NodeManager(NM)
3. NM接收到RM的分配，啟動Application Master並初始化作業，此時這個NM就稱為Driver
4. Application向RM申請資源，分配資源同時通知其他NodeManager啟動相應的Executor
5. Executor向NM上的Application Master注冊匯報並完成相應的任務
Yarn-client
在Yarn-client中，Application Master僅僅從Yarn中申請資源給Executor，之后client會跟container通信進行作業的調度，下圖是Yarn-client模式
Yarn-client模式下作業執行流程：
1. 客戶端生成作業信息提交給ResourceManager(RM)
2. RM在本地NodeManager啟動container並將Application Master(AM)分配給該NodeManager(NM)
3. NM接收到RM的分配，啟動Application Master並初始化作業，此時這個NM就稱為Driver
4. Application向RM申請資源，分配資源同時通知其他NodeManager啟動相應的Executor
5. Executor向本地啟動的Application Master注冊匯報並完成相應的任務
