目 錄第1章 引言 1.1 文檔說明 1.2 參考文檔 第2章 糾刪碼概念和原理 2.1 概念 2.2 原理 第3章 CEPH糾刪碼介紹 3.1 CEPH糾刪碼用途 3.2 CEPH糾刪碼庫 3.3 CEPH糾刪碼數據存儲 3.3.1 編碼塊讀寫 3.3.2 間斷全寫 3.4 使用范圍 ...

1 Ceph簡述 Ceph是一種性能優越，可靠性和可擴展性良好的統一的分布式雲存儲系統，提供對象存儲、塊存儲、文件存儲三種存儲服務。Ceph文件系統中不區分節點中心，在理論上可以實現系統規模的無限擴展。Ceph文件系統使用了較為簡單的數據地址管理方法，通過計算的方式直接得到數據存放的位置 ...

一個 Ceph 池與一種類型相關聯，以維持 OSD 的丟失（即一個磁盤，因為大多數時候每個磁盤都有一個 OSD）。創建池時的默認選擇是已復制，這意味着每個對象都復制到多個磁盤上。可以改用糾刪碼池類型來節省空間。 創建示例糾刪碼池 最簡單的糾刪碼池相當於RAID5，至少需要三台主機： 糾刪 ...

糾刪碼（Erasure Code）中的數學知識 背景 　　在數據存儲領域，Hadoop采用三副本策略有效的解決了存儲的容錯問題，但是三副本策略中磁盤的利用效率比較低，僅有33%，而且副本帶來的成本壓力實在太高，后來適時的出現了糾刪碼的概念。當冗余級別為n+m時，將這些數據塊分別存放在n+m ...

本Summary以Erasure Codes for Storage Systems Summary的內容為主，補充了部分關於\(GF(2^w)\)域上的計算、RAID系統的分類等相關內容。關於糾刪碼的相關知識概述可參考存儲系統中的糾刪碼-綜述 簡單糾刪碼示例 糾刪碼：與糾錯碼、檢錯碼類似 ...

作者介紹： 徐祥曦，七牛雲工程師，獨立開發了多套高性能糾刪碼/再生碼編碼引擎。柳青，華中科技大學博士，研究方向為基於糾刪碼的分布式存儲系統。 前言： 在上篇《如何選擇糾刪碼編碼引擎》中，我們簡單了解了 Reed-Solomon Codes（RS 碼）的編／解碼過程，以及編碼引擎 ...

前言 在Ceph和RAID存儲領域，RS糾刪碼扮演着重要的角色，糾刪碼是經典的時間換空間的案例，通過更多的CPU計算，降低低頻存儲數據的存儲空間占用。 糾刪碼原理 糾刪碼基於范德蒙德矩陣實現，核心公式如下所示（AD=E） 假設某些數據丟失，右式部分行丟失，變成E'，則左式也相應去掉對應 ...

，它提供了同等級別的容錯能力，而且存儲空間大大減少。在典型的糾刪碼(EC)設置中，存儲開銷不超過50% 。 ...