HDFS保證可靠性的措施


       1)冗余備份

    每個文件存儲成一系列數據塊(Block)。為了容錯,文件的所有數據塊都會有副本(副本數量即復制因子,課配置)(dfs.replication)

  2)副本存放

    采用機架感知(Rak-aware)的策略來改進數據的可靠性、高可用和網絡帶寬的利用率

  3)心跳檢測

    NameNode周期性地從集群中的每一個DataNode接受心跳包和塊報告,收到心跳包說明該DataNode工作正常

  4)安全模式

    系統啟動時,NameNode會進入一個安全模式。此時不會出現數據塊的寫操作。

  5)數據完整性檢測

    HDFS客戶端軟件實現了對HDFS文件內容的校驗和(Checksum)檢查(dfs.bytes-per-checksum)。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM