HDFS的副本存放策略


https://www.cnblogs.com/beiyi888/p/9647147.html

首先,HDFS將每一個文件的數據進行分塊存儲,同時每一個數據塊又保存有多個副本,這些數據塊副本分布在不同的機器節點上,這種數據分塊存儲+副本的策略是HDFS保證可靠性和性能的關鍵,這是因為:一.文件分塊存儲之后按照數據塊來讀,提高了文件隨機讀的效率和並發讀的效率;二.保存數據塊若干副本到不同的機器節點實現可靠性的同時也提高了同一數據塊的並發讀效率;三.數據分塊是非常切合MapReduce中任務切分的思想。

 在大多數情況下,副本系數是3,HDFS的存放策略是將一個副本存放在本地機架節點上,一個副本存放在同一個機架的另一個節點上,最后一個副本放在不同機架的節點上。這種策略減少了機架間的數據傳輸,提高了寫操作的效率。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM