YARN基本框架介紹
轉載請注明出處：http://www.cnblogs.com/BYRans/
在之前的博客《YARN與MRv1的對比》中介紹了YARN對Hadoop 1.0的完善。本文將重點介紹下YARN各個模塊的作用與YARN運行流程。
YARN模塊介紹
概述
YARN是一個資源管理、任務調度的框架，主要包含三大模塊：ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）。其中，ResourceManager負責所有資源的監控、分配和管理；ApplicationMaster負責每一個具體應用程序的調度和協調；NodeManager負責每一個節點的維護。對於所有的applications，RM擁有絕對的控制權和對資源的分配權。而每個AM則會和RM協商資源，同時和NodeManager通信來執行和監控task。幾個模塊之間的關系如圖所示。
ResourceManager
- ResourceManager負責整個集群的資源管理和分配，是一個全局的資源管理系統。
- NodeManager以心跳的方式向ResourceManager匯報資源使用情況（目前主要是CPU和內存的使用情況）。RM只接受NM的資源回報信息，對於具體的資源處理則交給NM自己處理。
- YARN Scheduler根據application的請求為其分配資源，不負責application job的監控、追蹤、運行狀態反饋、啟動等工作。
NodeManager
- NodeManager是每個節點上的資源和任務管理器，它是管理這台機器的代理，負責該節點程序的運行，以及該節點資源的管理和監控。YARN集群每個節點都運行一個NodeManager。
- NodeManager定時向ResourceManager匯報本節點資源（CPU、內存）的使用情況和Container的運行狀態。當ResourceManager宕機時NodeManager自動連接RM備用節點。
- NodeManager接收並處理來自ApplicationMaster的Container啟動、停止等各種請求。
ApplicationMaster
- 用戶提交的每個應用程序均包含一個ApplicationMaster，它可以運行在ResourceManager以外的機器上。
- 負責與RM調度器協商以獲取資源（用Container表示）。
- 將得到的任務進一步分配給內部的任務(資源的二次分配)。
- 與NM通信以啟動/停止任務。
- 監控所有任務運行狀態，並在任務運行失敗時重新為任務申請資源以重啟任務。
- 當前YARN自帶了兩個ApplicationMaster實現，一個是用於演示AM編寫方法的實例程序DistributedShell，它可以申請一定數目的Container以並行運行一個Shell命令或者Shell腳本；另一個是運行MapReduce應用程序的AM—MRAppMaster。
- 注：RM只負責監控AM，並在AM運行失敗時候啟動它。RM不負責AM內部任務的容錯，任務的容錯由AM完成。
YARN運行流程
- client向RM提交應用程序，其中包括啟動該應用的ApplicationMaster的必須信息，例如ApplicationMaster程序、啟動ApplicationMaster的命令、用戶程序等。
- ResourceManager啟動一個container用於運行ApplicationMaster。
- 啟動中的ApplicationMaster向ResourceManager注冊自己，啟動成功后與RM保持心跳。
- ApplicationMaster向ResourceManager發送請求，申請相應數目的container。
- ResourceManager返回ApplicationMaster的申請的containers信息。申請成功的container，由ApplicationMaster進行初始化。container的啟動信息初始化后，AM與對應的NodeManager通信，要求NM啟動container。AM與NM保持心跳，從而對NM上運行的任務進行監控和管理。
- container運行期間，ApplicationMaster對container進行監控。container通過RPC協議向對應的AM匯報自己的進度和狀態等信息。
- 應用運行期間，client直接與AM通信獲取應用的狀態、進度更新等信息。
- 應用運行結束后，ApplicationMaster向ResourceManager注銷自己，並允許屬於它的container被收回。