一、 背景 現在數據倉庫層面的工作越來越多，開發人員也越來越多，如何保障數據准確性是一項非常重要的工作，，數據倉庫的很多應用數據直接呈現給用戶或者支撐企業分析決策的，容不得數據出現錯誤。隨着開展的業務越來越多，數據模型越來也多,我們管控的越晚就越容易出問題。盡管有數據倉庫建設規范，同樣在數據 ...

大的歸類三個方面： 一 數據質量 1 數據的完整性： 所有的所都符合BI業務需求。 2 數據的一致性： 經過數據清洗轉化（ETL）能和數據源保持一致。 3 數據的精准性： 在不同的業務規則和業務情景下，值都是正確的。 二 數據性能：數據倉庫能夠給用戶報表 ...

數據處理的過程 數據處理的過程一般如下： 數據質量管理(DATA Quality Managenment)是指對上述過程中每個階段可能出現引發數據質量的問題進行識別、監控、預警等相關管理活動。 通過改善和提高組織的管理水平是的數據質量進一步提升。 數據質量管理是一個循環管理的過程，其最終目標 ...

一、監控 1.日常監控 數據落地監控 數據掉0監控：實際擴展一下就是數據量閾值監控，少於某個量就告警 重復數據監控：很多表一定要監控重復數據的，這點至關重要。 關鍵指標監控 數據同比環比監控 2. 數據對賬 這點主要會體現到實時數據上，特別是Kafka數據落地 ...

元數據（Meta Data），主要記錄數據倉庫中模型的定義、各層級間的映射關系、監控數據倉庫的數據狀態及 ETL 的任務運行狀態。一般會通過元數據資料庫（Metadata Repository）來統一地存儲和管理元數據，其主要目的是使數據倉庫的設計、部署、操作和管理能達成協同和一致 ...

這一切的前提。所以如何保障數據質量，確保數據可用性是數據倉庫建設中不容忽視的環節。 數 ...

轉自： https://zhuanlan.zhihu.com/p/413450595 數倉建設真正的難點不在於數倉設計，而在於后續業務發展起來，業務線變的龐大之后的數據治理，而數據治理的范圍非常廣，包含數據本⾝的管理、數據安全、數據質量、數據成本等。在這么多治理內容中，大家想下最重要的治理是什么 ...

總線架構是數據倉庫建設的總體規划，從整體視角描述了解決方案的維度模型，描述了各個子系統的功能以及關系，描述數據從源系統到決策系統的數據流程，提供建立企業數據倉庫系統的增量式方法。業務需求回答了要做什么，總線架構就是回答怎么做的問題。 一、整體解決方案架構： 數據倉庫 ...