一、监控 1.日常监控 数据落地监控 数据掉0监控：实际扩展一下就是数据量阈值监控，少于某个量就告警 重复数据监控：很多表一定要监控重复数据的，这点至关重要。 关键指标监控 数据同比环比监控 2. 数据对账 这点主要会体现到实时数据上，特别是Kafka数据落地 ...

官方源码： https://gitee.com/apache/griffin/tree/master 下载到本地 一、启动前需要先安装以下环境 Jdk（1.8 or later versions） Postgresql or Mysql（用于存储Measure、job等元数据信息 ...

Griffin 入门 1 Griffin 概述 　　Apache Griffin 是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度度量数据资产，从而提升数据的准确度和可信度。例如： 离线任务执行完毕后检查源端 ...

数据治理 数据质量规则 目的 数据治理分析的重要前提是有数据且有正确的数据可以提供分析。数据质量的把控，应是后续工作的重中之重。为数据挖掘、预测、数据分析算法的合理使用、多维查询、即席分析、数据可视化等工作做好支撑，让数据质量不再是空中楼阁。数据质量不高表现为数据以多种格式 ...

数据质量评估 在做了近一个多月的数据质量评估方案工作，基本实现了从产出原始数据、数据清洗、入库有效数据等阶段,从对质量没有任何概念到实现基本的指标展示，也算是从设计到代码到展示的流程跑通，在一定程度已经能体现公司目前的数据质量 1.为什么做数据质量？ 公司数据是从Excel挖掘出 ...

完整性 1.Row Count 比较： 1). 增量的ETL job 2). 错误的ETL 3). 在开发过程中容易丢失的测试：对每一个表run test case 表容量；（Year, Month, Week） 2. Row Trend 分析：数据总数和历史趋势 ...

一、数据质量保障原则 如何评估数据质量的好坏，业界有不同的标准，阿里主要从 4 个方面进行评估：完整性、准确性、一致性、及时性； 1、完整性2 数据完整性是数据最基础的保障； 完整性：指数据的记录和信息是否完整，是否存在缺失的情况 ...

大的归类三个方面： 一 数据质量 1 数据的完整性： 所有的所都符合BI业务需求。 2 数据的一致性： 经过数据清洗转化（ETL）能和数据源保持一致。 3 数据的精准性： 在不同的业务规则和业务情景下，值都是正确的。 二 数据性能：数据仓库能够给用户报表 ...