HDFS的高可用机制和联邦机制


1.高可用机制:

在搭建Hadoop集群时可以配置很多个NameNode,这样使得在一个NameNode出现问题时其他NameNode可以迅速代替。

当一个NameNode处于Activity状态时,其他处于Standby状态,在此期间,所有NameNode的元数据保持一致。

2.NameNode的元数据保持一致的过程

处于Ativity状态时,将日志写入共享文件系统,处于Standby的NameNode读取日志文件。

 

 

3.联邦机制

当集群很大时,NameNode的内存成了性能的瓶颈,所以提出了联邦机制

4.联邦机制原理

将NameNode划分成不同的命名空间并进行编号。不同的命名空间之间相互隔离互不干扰。在DataNode中创建目录,此目录对应命名空间的编号。由此,编号相同的数据由对应的命名空间进行管理

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM