概述
NodeManager是運行在單個節點上的代理,它需要與應用程序的的ApplicationMaster和集群管理者ResourceManager交互: 從ApplicationMaster上接收有關Container的命令並執行之(比如啟動,停止Container); 向ResourceManager匯報各個Container運行狀態和節點健康狀況,並領取有關Container的命令(比如清理Container)執行之
NodeManager是YARN中單個節點上的代理,它管理Hadoop集群中單個計算節點,功能包括與ResourceManager保持通信,管理Container的生命周期,監控每個Container的資源使用(內存,CPU等)情況,追蹤節點健康狀況,管理日志和不同應用程序用到的附屬服務
NodeManager基本職能
NodeManager需通過兩個RPC協議與ResourceManager服務和各個應用程序的ApplicationMaster交互
ResourceTrackerProtocol協議
NodeManager通過該RPC協議向ResourceManager注冊,匯報節點健康狀況和Container運行狀態,並領取ResourceManager下達的命令,包括重新初始化,清理Container占用資源等.在該RPC協議中,ResourceManager扮演RPC Server的角色,而NodeManager扮演RPC Client的角色
ResourceTrackerProtocol協議主要提供了以下兩個RPC函數
(1) registerNodeManager
NodeManager啟動時通過該RPC函數向ResourceManager注冊,注冊信息由RegisterNodeManagerRequest封裝的,包括如下三部分內容 :
- httpPort : 該NodeManager對外提供的HTTP端口號,ResourceManager會在界面上提供一個可直接訪問NodeManager Web界面的超鏈接
- nodeId : 該NodeManager所在的host和對外的RPC端口號
- totalResource : 該NodeManager所在節點總的可分配資源,當前支持內存和虛擬CPU兩種資源,管理員可通過參數yarn.nodemanager.resource.cpu-vcores和yarn.nodemanager.resource.memory-mb配置
ResourceManager將通過registerNodeManager函數向NodeManager返回一個RegisterNodeManagerResponse類型的對象,主要包含以下信息 :
- MasterKey : 新生成的Container Token和Node Token的Master Key
- NodeAction : ResourceManager向該NodeManager返回的下一步操作,主要包括NORMAL,RESYNC,SHUTDOWN三種,分別表示正常,重新同步信息和停止運行
- rmIdentifier : ResourceManager的標示符,NodeManager通過該標識符判斷ApplicationMaster發送的Container來自原始的還是新啟動的ResourceManager
- diagnosticsMessage : NodeManager注冊失敗時,將收到一段診斷信息,告知具體的失敗原因
(2) nodeHeartbeat
NodeManager啟動后,定期通過該RPC函數向ResourceManager匯報Container運行信息和節點健康狀況,並領取新的命令,比如殺死一個Container
ContainerManagementProtocol協議
應用程序的ApplicationMaster通過該RPC協議向NodeManager發起針對Container的相關操作,包括啟動Container,殺死Container,獲取Container
ContainerManagementProtocol協議主要提供了以下三個RPC函數 :
- startContainer : ApplicationMaster通過該RPC要求NodeManager啟動一個Contaienr.該函數有一個StartContainerRequest類型的參數,封裝了Container啟動所需的本地資源,環境變量,執行命令,Token等信息.如果Container啟動成功,則該函數返回一個StartContainerResponse對象
- stopContainer : ApplicationMaster通過該RPC要求NodeManager停止(殺死)一個Container.該函數有一個StopContainerRequest類型的參數,用於指定待殺死的Container ID.如果Container被成功殺死,則該函數返回一個StopContainerResponse對象
- getContainerStatus : ApplicationMaster通過該RPC獲取一個Container的運行狀態.該函數參數類型為GetContainerStatusRequest,封裝了目標Container的ID,返回值為封裝了Container當前運行狀態的類型為GetContainerStatusResponse的對象
NodeManager內部架構
NodeManager內部組織結構和主要模塊
- NodeStatusUpdater : NodeStatusUpdater是NodeManager與ResourceManager通信的唯一通道
- ContainerManager : ContainerManager是NodeManager中最核心組件之一,它由多個子組件構成,每個子組件負責一部分功能,協作共同管理運行在該節點上的所有Container.各個子組件如下
- RPC Server : 該RPC Server實現了ContainerManagementProtocol協議,是ApplicationMaster與NodeManager通信的唯一通道
- ResourceLocalizationService : 負責Container所需資源的本地化.它能夠按照描述從HDFS上下載Container所需的文件資源,並盡量將它們分攤到各個磁盤上以防止出現訪問熱點.此外,它會為下載的文件添加訪問控制限制,並為之施加合適的磁盤空間使用份額
- ContainersLauncher : 維護了一個線程池以並行完成Container相關操作,比如啟動或者殺死Container,其中啟動Container請求是由ApplicationMaster發起的,而殺死Container請求則可能來自ApplicationMaster或者ResourceManager
- AuxServices : NodeManager允許用戶通過配置附屬服務的方式擴展自己的功能,這使得每個節點可以定制一些特定框架需要的服務
- ContainersMonitor : ContainersMonitor負責監控Container的資源使用量
- LogHandler : 一個可插拔組件,用戶可通過它控制Container日志的保存方式,即是寫到本地磁盤上還是將其打包后上傳到一個文件系統中
- ContainerEventDispatcher : Container事件調度器,負責將ContainerEvent類型的事件調度給對應Application的狀態機ApplicationImpl
- ApplicationEventDispatcher : Application事件調度器,負責將ApplicationEvent類型的事件調度給對應Application的狀態機ApplicationImpl
- ContainerExecutor : ContainerExecutor可與底層操作系統交互,安全存放Container需要的文件和目錄,進而以一種安全的方式啟動和清除Container對應的進程
- NodeHealthCheckerService : NodeHealthCheckerService通過周期性地運行一個自定義腳本和向磁盤寫文件檢查節點的健康狀況,並將之通過NodeStatusUpdater傳遞給ResourceManager
- DeletionService : NodeManager將文件刪除功能服務化,即提供一個專門的文件刪除服務異步刪除失效文件,這樣可避免同步刪除文件帶來的性能開銷
- Security : 安全模塊是NodeManager中的一個重要模塊,包含兩部分
- ApplicationACLsManager : NodeManager需要為所有面向用戶的API提供安全檢查,如在Web UI上只能將Container日志顯示給授權用戶.該組件為每個應用程序維護了一個ACL列表,一旦收到類似請求后會利用該列表對其進行驗證
- ContainerTokenSecretManager : 檢查收到的各種訪問請求的合法性,確保這些請求操作已被ResourceManager授權
- WebServer : 通過Web界面向用戶展示該節點上所有應用程序運行狀態,Container列表,節點健康狀態和Container產生的日志等信息
