yarn的job提交流程


1,客户端想RM申请一个application。

2,RM向客户端返回一个资源提交路径和一个application_id。

3,客户端提交资源,资源包含job.xml和job.split和jar包。

4,资源提交完成后,申请运行AppMaster。

5,RM将客户端请求,生成一个task,放入任务队列中,等待执行。

6,当轮到该任务执行时,会有一台NM领取到该task。

7,NM向RM申请资源,RM分配container容器给NM,启动appMaster。

8,NM下载该任务的资源到本地。

9,appMr 向RM申请运行mapTask任务。

10,分配container给NM,

11,appMr 分配启动脚本给NM,NM启动mapTask任务。

12,当mapTask任务执行完后,appMr向RM申请容器,运行reduceTask任务。

13,reduceTask向mapTask拉去区分区数据处理。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM