转自:http://m.blog.csdn.net/blog/skdkjxy/45695355 一、概述 按照误码控制的不同功能,可分为检错码、纠错码和纠删码等。 检错码仅具备识别错码功能 而无纠正错码功能; 纠错码不仅具备识别错码功能,同时具备纠正错码功能 ...
目 录第 章 引言 . 文档说明 . 参考文档第 章 纠删码概念和原理 . 概念 . 原理第 章 CEPH纠删码介绍 . CEPH纠删码用途 . CEPH纠删码库 . CEPH纠删码数据存储 . . 编码块读写 . . 间断全写 . 使用范围 . . 冷数据 . . 廉价多数据中心存储第 章 CEPH纠删码实例 . 数据读写 . 纠删码池不支持部分功能 . 纠删码PROFILE . CECHE T ...
2016-08-04 18:45 1 1944 推荐指数:
转自:http://m.blog.csdn.net/blog/skdkjxy/45695355 一、概述 按照误码控制的不同功能,可分为检错码、纠错码和纠删码等。 检错码仅具备识别错码功能 而无纠正错码功能; 纠错码不仅具备识别错码功能,同时具备纠正错码功能 ...
1 Ceph简述 Ceph是一种性能优越,可靠性和可扩展性良好的统一的分布式云存储系统,提供对象存储、块存储、文件存储三种存储服务。Ceph文件系统中不区分节点中心,在理论上可以实现系统规模的无限扩展。Ceph文件系统使用了较为简单的数据地址管理方法,通过计算的方式直接得到数据存放的位置 ...
一个 Ceph 池与一种类型相关联,以维持 OSD 的丢失(即一个磁盘,因为大多数时候每个磁盘都有一个 OSD)。创建池时的默认选择是已复制,这意味着每个对象都复制到多个磁盘上。可以改用纠删码池类型来节省空间。 创建示例纠删码池 最简单的纠删码池相当于RAID5,至少需要三台主机: 纠删 ...
纠删码(Erasure Code)中的数学知识 背景 在数据存储领域,Hadoop采用三副本策略有效的解决了存储的容错问题,但是三副本策略中磁盘的利用效率比较低,仅有33%,而且副本带来的成本压力实在太高,后来适时的出现了纠删码的概念。当冗余级别为n+m时,将这些数据块分别存放在n+m ...
本Summary以Erasure Codes for Storage Systems Summary的内容为主,补充了部分关于\(GF(2^w)\)域上的计算、RAID系统的分类等相关内容。关于纠删码的相关知识概述可参考存储系统中的纠删码-综述 简单纠删码示例 纠删码:与纠错码、检错码类似 ...
作者介绍: 徐祥曦,七牛云工程师,独立开发了多套高性能纠删码/再生码编码引擎。柳青,华中科技大学博士,研究方向为基于纠删码的分布式存储系统。 前言: 在上篇《如何选择纠删码编码引擎》中,我们简单了解了 Reed-Solomon Codes(RS 码)的编/解码过程,以及编码引擎 ...
前言 在Ceph和RAID存储领域,RS纠删码扮演着重要的角色,纠删码是经典的时间换空间的案例,通过更多的CPU计算,降低低频存储数据的存储空间占用。 纠删码原理 纠删码基于范德蒙德矩阵实现,核心公式如下所示(AD=E) 假设某些数据丢失,右式部分行丢失,变成E',则左式也相应去掉对应 ...
,它提供了同等级别的容错能力,而且存储空间大大减少。在典型的纠删码(EC)设置中,存储开销不超过50% 。 ...