Hadoop守護進程【簡】

【轉自】http://xzx4959.blog.163.com/blog/static/47868170201311901848348/

 

一般如果正常啟動hadoop，我們可以在master上通過jps命令看到以下5個daemons:

[root@master ~]# jps
19803 SecondaryNameNode
19994 ResourceManager
31144 Jps
19571 NameNode

19672  DataNode
19887 NodeManager

 

下面依次介紹這些進程：

1. NameNode

它是Hadoop 中的主服務器，管理文件系統名稱空間和對集群中存儲的文件的訪問。

2. SecondaryNameNode

它不是 namenode 的冗余守護進程，而是提供周期檢查點和清理任務。

出於對可擴展性和容錯性等考慮，我們一般將SecondaryNameNode運行在一台非NameNode的機器上。

3. DataNode

它負責管理連接到節點的存儲（一個集群中可以有多個節點）。每個存儲數據的節點運行一個 datanode 守護進程。
 4.ResourceManager 是一個中心的服務，它做的事情是調度、啟動每一個 Job 所屬的 ApplicationMaster、另外監控 ApplicationMaster 的存在情況，ResourceManager 負責作業與資源的調度。接收 JobSubmitter 提交的作業，按照作業的上下文 (Context) 信息，以及從 NodeManager 收集來的狀態信息，啟動調度過程，分配一個 Container 作為 App Mstr

5.NodeManager 功能比較專一，就是負責 Container 狀態的維護，並向 RM 保持心跳。