5PB甚至更大的数据集怎么存储 ?
1PB = 1024TB、1TB = 1024GB、1GB = 1024M
- 假设我们将数据块的大小定义成256M,
- 那么5PB的数据集可以划分成20971520左右的数据块,
- 这些数据块可以均匀分布在1000台机器节点(每个节点假设空间为10TB上
一台机器死了怎么办?
每个数据块可以冗余存储在2台机器上

分布式存储特点:
- 数据分块存储在多台机器上
- 每一数据块都可以冗余存储在多台机器上,以提高数据块的高可用性
这么多台机器节点与这么多个数据块怎么管理呢?

分布式存储集群: master/slave结构集群

