1、简介 随着大规模分布式存储系统(PB级的数据和成百上千台存储设备)的出现。这些系统必须平衡的分布数据和负载(提高资源利用率),最大化系统的性能,并要处理系统的扩展和硬件失效。ceph设计了CRUSH(一个可扩展的伪随机数据分布算法),用在分布式对象存储系统上,可以有效映射数据对象 ...
什么是crushmap crushmap就相当于是ceph集群的一张数据分布地图,crush算法通过该地图可以知道数据应该如何分布 找到数据存放位置从而直接与对应的osd进行数据访问和写入 故障域的设置和数据冗余选择策略等。crushmap的灵活设置显示出了ceph的软件定义存储方案。这里可以引入raid相关的概念来对比下:raid :又称为Stripe,中文名为条带,它是所有RAID级别中存储 ...
2019-03-04 19:51 0 2976 推荐指数:
1、简介 随着大规模分布式存储系统(PB级的数据和成百上千台存储设备)的出现。这些系统必须平衡的分布数据和负载(提高资源利用率),最大化系统的性能,并要处理系统的扩展和硬件失效。ceph设计了CRUSH(一个可扩展的伪随机数据分布算法),用在分布式对象存储系统上,可以有效映射数据对象 ...
Crush算法1、Crush的目的 优化分配数据,高效的重组数据,灵活的约束对象副本放置,硬件故障时候最大化保证数据安全 2、流程 Ceph 架构中,Ceph客户端是直接读写存放在OSD上的RADOS Object,因此,Ceph需要走完(Pool, Object ...
ceph crush的问题看一遍忘一遍,现将《ceph源码分析》一书中相关章节摘抄如下: 4.2.1 层级化的Cluster Map例4-1 Cluster Map定义层级化的Cluster Map定义了OSD集群具有层级关系的静态拓扑结构。OSD的层级使得CRUSH算法在选择OSD时实现了机架 ...
前言: 分布式存储系统需要让数据均匀的分布在集群中的物理设备上,同时在新设备加入,旧设备退出之后让数据重新达到平衡状态尤为重要。新设备加入后,数据要从不同的老设备中迁移过来。老设备退出后,数据迁 ...
,执行命令: ceph osd getcrushmap -o {compiled-crushmap ...
作者:吴香伟 发表于 2014/09/05 版权声明:可以任意转载,转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 数据分布是分布式存储系统的一个重要部分,数据分布算法至少要考虑以下三个因素: 故障域隔离。同份数据的不同副本分布在不同的故障域,降低数据损坏的风险; 负载 ...
通过CRUSH算法得到存放数据的一组OSD位置(副本个数),第一个是主,后面是从 客户端获得OSD ID,直 ...
背景: 1. 一个集群总共有5台主机(Host11,Host12,Host13,Host14,Host16),由于资源过剩,需要剔除两台主机用于其他用途,host11-13都是monitor+n ...