yarn的job提交流程


1,客戶端想RM申請一個application。

2,RM向客戶端返回一個資源提交路徑和一個application_id。

3,客戶端提交資源,資源包含job.xml和job.split和jar包。

4,資源提交完成后,申請運行AppMaster。

5,RM將客戶端請求,生成一個task,放入任務隊列中,等待執行。

6,當輪到該任務執行時,會有一台NM領取到該task。

7,NM向RM申請資源,RM分配container容器給NM,啟動appMaster。

8,NM下載該任務的資源到本地。

9,appMr 向RM申請運行mapTask任務。

10,分配container給NM,

11,appMr 分配啟動腳本給NM,NM啟動mapTask任務。

12,當mapTask任務執行完后,appMr向RM申請容器,運行reduceTask任務。

13,reduceTask向mapTask拉去區分區數據處理。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM