HDFS的高可用機制和聯邦機制


1.高可用機制:

在搭建Hadoop集群時可以配置很多個NameNode,這樣使得在一個NameNode出現問題時其他NameNode可以迅速代替。

當一個NameNode處於Activity狀態時,其他處於Standby狀態,在此期間,所有NameNode的元數據保持一致。

2.NameNode的元數據保持一致的過程

處於Ativity狀態時,將日志寫入共享文件系統,處於Standby的NameNode讀取日志文件。

 

 

3.聯邦機制

當集群很大時,NameNode的內存成了性能的瓶頸,所以提出了聯邦機制

4.聯邦機制原理

將NameNode划分成不同的命名空間並進行編號。不同的命名空間之間相互隔離互不干擾。在DataNode中創建目錄,此目錄對應命名空間的編號。由此,編號相同的數據由對應的命名空間進行管理

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM