一、前言 　　工作內容的變更，導致重新回到數據倉庫模型的架構和設計，於是花點時間比較系統的回顧數據倉庫建模和系統建設的知識體系，記錄下來，作為筆記吧。 二、模型 　　無論數據倉庫技術如何變化，從RDBMS到NoSQL,從傳統技術到大數據，其實只是實現技術手段的變化，數據倉庫建設生命周期的模式 ...

1、范式理論 　　范式：表示一個關系內部各屬性之間的聯系的合理化程度，范式級別越高，表的設計就越標准。 　　①零范式 　　　　　它只滿足一個最基本的條件——數據中不存在重復數據。 　　　　　 　　②一范式 　　　　在零范式的基礎上加上字段具有原子性即屬性不可分這個條件后便形成了符合 ...

上一篇開了個頭，從Kimball數據倉庫生命周期方法角度，列出了數據倉庫搭建的核心步驟，從這一篇開始將講述技術路徑：技術架構設計和產品選擇和安裝。 首先先以某公司的數據倉庫的總體架構圖的視角，了解整個數據倉庫搭建起來后結構大體的樣子。 最底層是數據源，一般是在線的數據庫或者是 ...

1. 什么是數據倉庫？ 在wiki中對數據倉庫的解釋是： 　　在計算中，數據倉庫（DW或DWH），也稱為企業數據倉庫（EDW），是用於報告和數據分析的系統，被認為是商業智能的核心組成部分 DW是來自一個或多個不同來源的集成數據的中央存儲庫。 他們將當前和歷史數據存儲在一個地方，用於為整個企業 ...

聲明： 1. 本欄是個人總結，如有錯漏，請指正 2. 數據倉庫的構建目前業界只有指導方案，並沒有統一的標准，每個公司都可以按照實際情況進行設計 3. 本總結參考《阿里巴巴大數據之路》、《數據倉庫工具箱》 產生背景 ...

第一章 數倉搭建-ODS層 1）保持數據原貌不做任何修改，起到備份數據的作用。 2）數據采用LZO壓縮，減少磁盤存儲空間。100G數據可以壓縮到10G以內。 3）創建分區表，防止后續的全表掃描，在企業開發中大量使用分區表。 4）創建外部表。在企業開發中，除了自己用的臨時表，創建內部表外 ...

歸納起來就是 主題域設計 分層設計 維度建模反第三范式操作，星型模型和星座模型 分區設計 依照邏輯模型，在數據庫中進行建表、索引等。數據倉庫，為了滿足高性能的需求，可以增加冗余、隱藏表之間的約束等反第三范式操作。 這一階段，主要針對的是數據庫、硬件、性能。 范式 ...

1． 主題性 數據倉庫是一般從用戶實際需求出發，將不同平台的數據源按設定主題進行划分整合，與傳統的面向事務的操作型數據庫不同，具有較高的抽象性。面向主題的數據組織方式，就是在較高層次對分析對象數據的一個完整、統一並一致的描述，能完整及統一地刻畫各個分析對象所涉及的有關企業的各項數據，以及數據 ...