1 什么是crushmap crushmap就相當於是ceph集群的一張數據分布地圖，crush算法通過該地圖可以知道數據應該如何分布；找到數據存放位置從而直接與對應的osd進行數據訪問和寫入；故障域的設置和數據冗余選擇策略等。crushmap的靈活設置顯示出了ceph的軟件定義存儲方案 ...

一、概念 1.1 Ceph集群寫操作流程 client首先訪問ceph monitor獲取cluster map的一個副本，知曉集群的狀態和配置 數據被轉化為一個或多個對象，每個對象都具有對象名稱和存儲池名稱 以PG數為基數做hash，將對象映射到一個PG 根據計算出的PG，再 ...

什么是臟數據？ 數據倉庫中的數據是面向某一個主題的數據集合，這些數據從多個業務系統中抽取，並且存在歷史數據。這樣就避免不了存在數據錯誤、數據沖突。這些錯誤數據和沖突數據就被稱為臟數據。比如：不完整的數據、錯誤的數據、重復的數據。 洗數據：發現並糾正數據文件中可識別的錯誤的最后一道程序 ...

列出與集群關聯的主機： 其中可選參數“host-pattern”、“label”和“host-status”用於過濾。“host-pattern”是一個正則表達式，它將與主機名匹配，並且只返回匹配的主機。“label”將只返回具有給定標簽的主機。“host-status”將只返回具有給定狀態 ...

NewLife.XCode是一個有10多年歷史的開源數據中間件，支持nfx/netstandard，由新生命團隊(2002~2019)開發完成並維護至今，以下簡稱XCode。 整個系列教程會大量結合示例代碼和運行日志來進行深入分析，蘊含多年開發經驗於其中，代表作有百億級大數據實時計算項目 ...

這里是修真院后端小課堂，每篇分享文從 【背景介紹】【知識剖析】【常見問題】【解決方案】【編碼實戰】【擴展思考】【更多討論】【參考文獻】 八個方面深度解析后端知識/技能，本篇分享的是： 【 什么是臟數據，緩存中是否可能產生臟數據，如果出現臟數據該怎么處理？】 大家好，我是IT修真院上海分院 ...

（1）背景介紹： 臟數據：從目標中取出的數據已經過期、錯誤或者沒有意義，這種數據就叫做臟數據。 臟讀：讀取出來臟數據就叫臟讀。 （2）知識剖析：1、數據庫中的並發事務處理問題： 臟讀：在並發訪問的情況下，不同的事務對相同的數據進行操作，在事務A修改數據還未提交的時候，事務B對該數據 ...

通常，異常值的識別可以借助於圖形法（如箱線圖、正態分布圖）和建模法（如線性回歸、聚類算法、K近鄰算法），在本期內容中，將分享兩種圖形法，在下一期將分享基於模型識別異常值的方法。 1、可以使用線箱法 圖中的下四分位數指的是數據的25%分位點所對應的值（Q1）；中位數即為數據的50%分 ...