ceph之纠删码
转自：http://m.blog.csdn.net/blog/skdkjxy/45695355 一、概述 按照误码控制的不同功能，可分为检错码、纠错码和纠删码等。 检错码仅具备识别错码功能 而无纠正错码功能； 纠错码不仅具备识别错码功能，同时具备纠正错码功能 ...
原文：实现高性能纠删码引擎 | 纠删码技术详解（下）
作者介绍： 徐祥曦，七牛云工程师，独立开发了多套高性能纠删码 再生码编码引擎。柳青，华中科技大学博士，研究方向为基于纠删码的分布式存储系统。 前言： 在上篇 如何选择纠删码编码引擎 中，我们简单了解了 Reed Solomon Codes RS 码 的编 解码过程，以及编码引擎的评判标准。但并没有就具体实现进行展开，本篇作为 纠删码技术详解 的下篇，我们将主要探讨工程实现的问题。 这里先简单提炼 ...
2017-05-24 13:42 0 1570 推荐指数：
相关推荐
纠删码简介
纠删码（Erasure Code）中的数学知识 背景 在数据存储领域，Hadoop采用三副本策略有效的解决了存储的容错问题，但是三副本策略中磁盘的利用效率比较低，仅有33%，而且副本带来的成本压力实在太高，后来适时的出现了纠删码的概念。当冗余级别为n+m时，将这些数据块分别存放在n+m ...
RS（纠删码）技术浅析及Python实现
前言 在Ceph和RAID存储领域，RS纠删码扮演着重要的角色，纠删码是经典的时间换空间的案例，通过更多的CPU计算，降低低频存储数据的存储空间占用。 纠删码原理 纠删码基于范德蒙德矩阵实现，核心公式如下所示（AD=E） 假设某些数据丢失，右式部分行丢失，变成E'，则左式也相应去掉对应 ...
纠删码学习笔记
本Summary以Erasure Codes for Storage Systems Summary的内容为主，补充了部分关于\(GF(2^w)\)域上的计算、RAID系统的分类等相关内容。关于纠删码的相关知识概述可参考存储系统中的纠删码-综述 简单纠删码示例 纠删码：与纠错码、检错码类似 ...
浅谈Ceph纠删码
目 录第1章 引言 1.1 文档说明 1.2 参考文档 第2章 纠删码概念和原理 2.1 概念 2.2 原理 第3章 CEPH纠删码介绍 3.1 CEPH纠删码用途 3.2 CEPH纠删码库 3.3 CEPH纠删码数据存储 3.3.1 编码块读写 3.3.2 间断全写 3.4 使用范围 ...
Hadoop 3.0 纠删码技术分析（Erasure Coding）
Hadoop 3.0 纠删码技术分析（Erasure Coding） 背景 随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率 ...
Ceph纠删码编码机制
1 Ceph简述 Ceph是一种性能优越，可靠性和可扩展性良好的统一的分布式云存储系统，提供对象存储、块存储、文件存储三种存储服务。Ceph文件系统中不区分节点中心，在理论上可以实现系统规模的无限扩展。Ceph文件系统使用了较为简单的数据地址管理方法，通过计算的方式直接得到数据存放的位置 ...
Ceph ERASURE CODE（纠删码）
一个 Ceph 池与一种类型相关联，以维持 OSD 的丢失（即一个磁盘，因为大多数时候每个磁盘都有一个 OSD）。创建池时的默认选择是已复制，这意味着每个对象都复制到多个磁盘上。可以改用纠删码池类型来节省空间。 创建示例纠删码池 最简单的纠删码池相当于RAID5，至少需要三台主机： 纠删 ...