ceph crush算法和crushmap淺析
1 什么是crushmap crushmap就相當於是ceph集群的一張數據分布地圖，crush算法通過該地圖可以知道數據應該如何分布；找到數據存放位置從而直接與對應的osd進行數據訪問和寫入；故障域的設置和數據冗余選擇策略等。crushmap的靈活設置顯示出了ceph的軟件定義存儲方案 ...
原文：Ceph源碼解析：CRUSH算法
簡介 隨着大規模分布式存儲系統 PB級的數據和成百上千台存儲設備 的出現。這些系統必須平衡的分布數據和負載 提高資源利用率 ，最大化系統的性能，並要處理系統的擴展和硬件失效。ceph設計了CRUSH 一個可擴展的偽隨機數據分布算法 ，用在分布式對象存儲系統上，可以有效映射數據對象到存儲設備上 不需要中心設備 。因為大型系統的結構式動態變化的，CRUSH能夠處理存儲設備的添加和移除，並最小化由於存 ...
2016-06-07 22:08 0 16680 推薦指數：
相關推薦
Ceph 知識摘錄(Crush算法、PG/PGP)
Crush算法1、Crush的目的 優化分配數據，高效的重組數據，靈活的約束對象副本放置，硬件故障時候最大化保證數據安全 2、流程 Ceph 架構中，Ceph客戶端是直接讀寫存放在OSD上的RADOS Object，因此，Ceph需要走完(Pool, Object ...
Ceph學習筆記（2）- CRUSH數據分布算法
前言： 分布式存儲系統需要讓數據均勻的分布在集群中的物理設備上，同時在新設備加入，舊設備退出之后讓數據重新達到平衡狀態尤為重要。新設備加入后，數據要從不同的老設備中遷移過來。老設備退出后，數據遷 ...
ceph crush的問題
ceph crush的問題看一遍忘一遍，現將《ceph源碼分析》一書中相關章節摘抄如下： 4.2.1 層級化的Cluster Map例4-1 Cluster Map定義層級化的Cluster Map定義了OSD集群具有層級關系的靜態拓撲結構。OSD的層級使得CRUSH算法在選擇OSD時實現了機架 ...
ceph之crush map
編輯crush map： 1、獲取crush map； 2、反編譯crush map； 3、至少編輯一個設備，桶， 規則； 4、重新編譯crush map； 5、重新注入crush map； 獲取crush map 要獲取集群的crush map ...
Ceph剖析：數據分布之CRUSH算法與一致性Hash
作者：吳香偉 發表於 2014/09/05 版權聲明：可以任意轉載，轉載時務必以超鏈接形式標明文章原始出處和作者信息以及版權聲明 數據分布是分布式存儲系統的一個重要部分，數據分布算法至少要考慮以下三個因素： 故障域隔離。同份數據的不同副本分布在不同的故障域，降低數據損壞的風險； 負載 ...
Ceph源碼解析：PG peering
集群中的設備異常(異常OSD的添加刪除操作)，會導致PG的各個副本間出現數據的不一致現象，這時就需要進行數據的恢復，讓所有的副本都達到一致的狀態。 一、OSD的故障和處理辦法： 1. OSD的故障 ...
Ceph源碼解析：讀寫流程
轉載注明出處，整理也是需要功夫的，http://www.cnblogs.com/chenxianpao/p/5572859.html 一、OSD模塊簡介 1.1 消息封裝：在OSD上發送和接收信息 ...