YARN的job提交流程

1.客戶端向ResourceManagement 提交 運行的請求 (hadoop jar xxxx.jar)

2.ResourceManager進行檢查,沒有問題的時候,向客戶端返回一個共享資源的路徑以及JobId

3.客戶端向HDFS提交資源,將共享資源放入共享路徑下:(/tmp/hadoop-yarn/staging-dir/xxxxxxxx)

4.客戶端向ResourceManager反饋共享資源放置完畢,進行job的正式提交

5.ResourceManager為這個job分配一個節點,並在這個節點上啟動MRAppMaster任務

6.ResourceManager到對應的節點上去啟動container容器用於裝載MRAppMaster

7.MRAppMaster對job進行初始化,生成一個job工作簿,job的工作簿記錄着maptask和reduce的運行進度和狀態

8.MRAppMaster向ResourceManager申請maptask和reducetask的運行的資源,先發maptask然后發reducetask

9.ResourceManager向MRAppMaster返回maptask和reduce的資源節點