5PB甚至更大的数据集怎么存储 ?
1PB = 1024TB、1TB = 1024GB、1GB = 1024M
- 假设我们将数据块的大小定义成256M,
- 那么5PB的数据集可以划分成20971520左右的数据块,
- 这些数据块可以均匀分布在1000台机器节点(每个节点假设空间为10TB上
一台机器死了怎么办?
每个数据块可以冗余存储在2台机器上
分布式存储特点:
- 数据分块存储在多台机器上
- 每一数据块都可以冗余存储在多台机器上,以提高数据块的高可用性
1PB = 1024TB、1TB = 1024GB、1GB = 1024M
每个数据块可以冗余存储在2台机器上
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。