HDFS保证可靠性的措施


       1)冗余备份

    每个文件存储成一系列数据块(Block)。为了容错,文件的所有数据块都会有副本(副本数量即复制因子,课配置)(dfs.replication)

  2)副本存放

    采用机架感知(Rak-aware)的策略来改进数据的可靠性、高可用和网络带宽的利用率

  3)心跳检测

    NameNode周期性地从集群中的每一个DataNode接受心跳包和块报告,收到心跳包说明该DataNode工作正常

  4)安全模式

    系统启动时,NameNode会进入一个安全模式。此时不会出现数据块的写操作。

  5)数据完整性检测

    HDFS客户端软件实现了对HDFS文件内容的校验和(Checksum)检查(dfs.bytes-per-checksum)。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM