hadoop集群基本進程


 

namenode

  namenode 相當於一個領導者,負責調度 比如你需要存一個640m的文件 如果按照64m分塊 那么namenode就會把這10個塊(這里不考慮副本)分配到集群中的datanode上 並記錄對於關系 。當你要下載這個文件的時候namenode就知道在那些節點上給你取這些數據了。

 

QuorumPeerMain 

  QuorumPeerMain Zookeeper集群啟動的入口類是QuorumPeerMain來加載配置啟動QuorumPeer線程。首先我們來看下QuorumPeer, 谷歌翻譯quorum是法定人數,定額的意思, peer是對等的意思,那么QuorumPeer中quorum代表的意思就是每個zookeeper集群啟動的時候集群中zookeeper服務數量就已經確定了,在每個zookeeper的配置文件中配置集群中的所有機器事實上這也確定zookeeper在運行中是不能動態擴容的,必須停下服務修改配置才可以;QuorumPeer中peer代表就是集中每個zookeeper角色是對等的沒有主從之分,每個zookeeper服務都可以成為leader, follower,observer。

 

journalnode

journalnode 兩個NameNode為了數據同步,會通過一組稱作JournalNodes的獨立進程進行相互通信。當active狀態的NameNode的命名空間有任何修改時,會告知大部分的JournalNodes進程。standby狀態的NameNode有能力讀取JNs中的變更信息,並且一直監控edit log的變化,把變化應用於自己的命名空間。standby可以確保在集群出錯時,命名空間狀態已經完全同步了

ZKFailoverController 

  ZKFailoverController 是hadoop-2.7.0中HDFS NameNode HA實現的中心組件,它負責整體的故障轉移控制等。它是一個守護進程,通過main()方法啟動,繼承自ZKFailoverController。

 

resourcemanager

  resourcemanager 在YARN中,ResourceManager負責集群中所有資源的統一管理和分配,它接收來自各個節點(NodeManager)的資源匯報信息,並把這些信息按照一定的策略分配給各個應用程序(實際上是ApplicationManager)。

 

DataNode

  DataNode 解釋Datanode是文件系統的工作節點,他們根據客戶端或者是namenode的調度存儲和檢索數據,並且定期向namenode發送他們所存儲的塊(block)的列表。

 

nodemanager

  nodemanager 是YARN中每個節點上的代理,它管理hadoop集群中單個計算節點,包括與ResourceManger保持通信,監督container的生命周期管理,監控每個Container的資源使用(內存、CPU等)情況,追蹤節點健康狀況,管理日志和不同應用程序用到的附屬服務。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM