1 什么是crushmap crushmap就相当于是ceph集群的一张数据分布地图，crush算法通过该地图可以知道数据应该如何分布；找到数据存放位置从而直接与对应的osd进行数据访问和写入；故障域的设置和数据冗余选择策略等。crushmap的灵活设置显示出了ceph的软件定义存储方案 ...

一、概念 1.1 Ceph集群写操作流程 client首先访问ceph monitor获取cluster map的一个副本，知晓集群的状态和配置 数据被转化为一个或多个对象，每个对象都具有对象名称和存储池名称 以PG数为基数做hash，将对象映射到一个PG 根据计算出的PG，再 ...

什么是脏数据？ 数据仓库中的数据是面向某一个主题的数据集合，这些数据从多个业务系统中抽取，并且存在历史数据。这样就避免不了存在数据错误、数据冲突。这些错误数据和冲突数据就被称为脏数据。比如：不完整的数据、错误的数据、重复的数据。 洗数据：发现并纠正数据文件中可识别的错误的最后一道程序 ...

列出与集群关联的主机： 其中可选参数“host-pattern”、“label”和“host-status”用于过滤。“host-pattern”是一个正则表达式，它将与主机名匹配，并且只返回匹配的主机。“label”将只返回具有给定标签的主机。“host-status”将只返回具有给定状态 ...

NewLife.XCode是一个有10多年历史的开源数据中间件，支持nfx/netstandard，由新生命团队(2002~2019)开发完成并维护至今，以下简称XCode。 整个系列教程会大量结合示例代码和运行日志来进行深入分析，蕴含多年开发经验于其中，代表作有百亿级大数据实时计算项目 ...

这里是修真院后端小课堂，每篇分享文从 【背景介绍】【知识剖析】【常见问题】【解决方案】【编码实战】【扩展思考】【更多讨论】【参考文献】 八个方面深度解析后端知识/技能，本篇分享的是： 【 什么是脏数据，缓存中是否可能产生脏数据，如果出现脏数据该怎么处理？】 大家好，我是IT修真院上海分院 ...

（1）背景介绍： 脏数据：从目标中取出的数据已经过期、错误或者没有意义，这种数据就叫做脏数据。 脏读：读取出来脏数据就叫脏读。 （2）知识剖析：1、数据库中的并发事务处理问题： 脏读：在并发访问的情况下，不同的事务对相同的数据进行操作，在事务A修改数据还未提交的时候，事务B对该数据 ...

通常，异常值的识别可以借助于图形法（如箱线图、正态分布图）和建模法（如线性回归、聚类算法、K近邻算法），在本期内容中，将分享两种图形法，在下一期将分享基于模型识别异常值的方法。 1、可以使用线箱法 图中的下四分位数指的是数据的25%分位点所对应的值（Q1）；中位数即为数据的50%分 ...