YARN調度架構中的AppMaster


YARN調度架構

1590320376022

  • esourceScheduler是YARN的調度器,負責Container的分配。
  • AsyncDispatcher是單線程的事件分發器,負責向調度器發送調度事件。
  • ResourceTrackerService是資源跟蹤服務,主要負責接收處理NodeManager的心跳信息。
  • ApplicationMasterService是作業的RPC服務,主要負責接收處理作業的心跳信息。
  • AppMaster是作業的程序控制器,負責跟YARN交互獲取/釋放資源。

AppMaster

AppMaster是一個yarn任務運行時第一個由RM啟動的container,然后負責整個任務的運行,包括container的申請、啟動、kill、狀態檢查等。ApplicationMaster屬於應用程序級,其實現不是由Yarn框架提供(歷史原因,yarn提供了MapReduce的AppMaster的實現),需要用戶自己實現AppMaster進程的具體實現。

參考

1萬台 Hadoop 集群 YARN 的調優之路

yarn任務提交過程源碼分析

Spark之Yarn Cluster運行機制


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM