為什么HDFS的副本數通常選擇3?


HDFS采用一種稱為機架感知的策略來改進數據的可靠性、可用性和網絡帶寬的利用率。

在大多數情況下,HDFS的副本系數是3,HDFS的存放策略是一個副本存放在本地機架節點上,另一個副本存放在同一機架的另一個節點上,第三個副本存放在在不同機架的節點上。這種策略減少了機架間的數據傳輸,提高了寫操作的效率。機架錯誤的概率遠比節點錯誤的概率小,所以這種策略不會對數據的可靠性和可用性造成影響。與此同時,因為數據只存在兩個機架上,這種策略減少了讀數據時需要的網絡傳輸帶寬。

在這種策略下,副本並不是均勻地分布在機架上。這種策略在不損壞可靠性和讀取性能的情況下,改善了寫的性能。

 

參考:

1.http://f.dataguru.cn/thread-35710-1-1.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM