数据仓库--数据质量
大的归类三个方面： 一 数据质量 1 数据的完整性： 所有的所都符合BI业务需求。 2 数据的一致性： 经过数据清洗转化（ETL）能和数据源保持一致。 3 数据的精准性： 在不同的业务规则和业务情景下，值都是正确的。 二 数据性能：数据仓库能够给用户报表 ...
原文：八、数据仓库数据质量监控
一 监控 .日常监控 数据落地监控 数据掉 监控：实际扩展一下就是数据量阈值监控，少于某个量就告警 重复数据监控：很多表一定要监控重复数据的，这点至关重要。 关键指标监控 数据同比环比监控 . 数据对账 这点主要会体现到实时数据上，特别是Kafka数据落地，必须要有一个监控机制来知道我们的数据落地情况。 当然离线数据同样需要数据对账，对账方法有很多，比如可以和业务库来对比。 . 性能监控 我把这点 ...
2019-03-11 14:55 0 897 推荐指数：
相关推荐
数据仓库系列之数据质量管理
数据质量一直是数据仓库领域一个比较令人头疼的问题，因为数据仓库上层对接很多业务系统，业务系统的脏数据，业务系统变更，都会直接影响数据仓库的数据质量。因此数据仓库的数据质量建设是一些公司的重点工作。 一、数据质量 数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度 ...
数据仓库之数据质量建设（深度好文）
这一切的前提。所以如何保障数据质量，确保数据可用性是数据仓库建设中不容忽视的环节。 数 ...
数据仓库之数据质量建设（深度好文）
转自： https://zhuanlan.zhihu.com/p/413450595 数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中，大家想下最重要的治理是什么 ...
浅谈数据仓库质量管理流程
一、 背景 现在数据仓库层面的工作越来越多，开发人员也越来越多，如何保障数据准确性是一项非常重要的工作，，数据仓库的很多应用数据直接呈现给用户或者支撑企业分析决策的，容不得数据出现错误。随着开展的业务越来越多，数据模型越来也多,我们管控的越晚就越容易出问题。尽管有数据仓库建设规范，同样在数据 ...
什么是数据仓库？如何构建数据仓库？
1. 什么是数据仓库？ 在wiki中对数据仓库的解释是： 在计算中，数据仓库（DW或DWH），也称为企业数据仓库（EDW），是用于报告和数据分析的系统，被认为是商业智能的核心组成部分 DW是来自一个或多个不同来源的集成数据的中央存储库。 他们将当前和历史数据存储在一个地方，用于为整个企业 ...
【数据仓库】|1 所以，什么是数据仓库
声明： 1. 本栏是个人总结，如有错漏，请指正 2. 数据仓库的构建目前业界只有指导方案，并没有统一的标准，每个公司都可以按照实际情况进行设计 3. 本总结参考《阿里巴巴大数据之路》、《数据仓库工具箱》 产生背景 ...
数据仓库（四）——数据仓库系统
第一章 数仓搭建-ODS层 1）保持数据原貌不做任何修改，起到备份数据的作用。 2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。 3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。 4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外 ...