Yarn詳細的工作流程


yarn工作流程圖

yarn詳細工作流程

第一步:客戶端向ResourceManager 申請運行程序
第二步:ResourceManager 檢查是否有運行權限,如果有就會返回jobid和程序提交的資源路徑
第三步:根據ResourceManager返回的信息,然后執行
第四步:客戶端提交程序的資源到tmp/hadoop-yarn-staging/job_id目錄下(jar程序本身,job.split邏輯切規划文件,job.xml mr配置文件)
第五步:申請程序運行的資源
第六步:RM根據請求結合mn 找出一台機器運行AppM
第七步:RM 返回MN位置給客戶端
第八步:客服端到指定的NM上,通過NM啟動container,運行MrAppMaster
第九步:MrAppMaster啟動成功,向rm進行匯報並且注冊自己
第十步:MrAppMaster讀取tmp/hadoop-yarn-staging/job_id目錄下job.split 數據(申請資源的多少)
第十一步: 申請與切片數量相應的container
第十二步:RM根據請求返回X台可以用的容器所在的位置
第十三步:APPM執行NM上啟動容器運行maptask,監督程序執行
第十四步:maptask執行結束,APPM向RM匯報,回收資源
第十五步:reduce執行結束,APPM向RM匯報,回收資源
第十六步:所有的task結束后,APPM申請運用結束,注銷自己


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM