分布式存储的原理


5PB甚至更大的数据集怎么存储 ?

1PB = 1024TB、1TB = 1024GB、1GB = 1024M

  • 假设我们将数据块的大小定义成256M,
  • 那么5PB的数据集可以划分成20971520左右的数据块,
  • 这些数据块可以均匀分布在1000台机器节点(每个节点假设空间为10TB上

一台机器死了怎么办?

每个数据块可以冗余存储在2台机器上

分布式存储特点:

  1. 数据分块存储在多台机器上
  2. 每一数据块都可以冗余存储在多台机器上,以提高数据块的高可用性

这么多台机器节点与这么多个数据块怎么管理呢?

分布式存储集群: master/slave结构集群


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM