數倉 分層架構


 

 

 

ods層:
數據來源及建模方式:各業務系統的源數據,物理模型與業務模型一致;
服務領域: 為其它邏輯層提供數據;
數據ETL過程描述:把業務數據抽取落地成文本文件,再裝載到數據倉庫ods層,不做清洗轉化。
功能:
1)ods是數倉准備區
2)為dwd提供原始數據
3)減少對業務系統影響
建模方式及原則:
數據保留時間根據實現業務需求而定;
可以分表進行周期性存儲,存儲周期不長;
從業務系統以增量方式抽取加載到ods;
數據模型與粒度與業務系統一致(3NF)。

dwd層:
數據來源及建模方式:數據來自於ods層,是DW明細事實層,數據模型與ods層一致;
服務領域:為edw提供各主題業務明細數據;
數據ETL過程描述:根據ods增量數據和前一天DWD相關表進行merge生成全量數據,不做清洗轉化,保留原始全量數據。
功能:
1)為DW層提供來源明細數據
2)為未來分析類需求的擴展提供歷史數據支持。
建模方式及原則:
為支持數據重跑可額外增加數據業務日期字段;
可按天月年進行分表;


dw層:
數據來源及建模方式:數據來自dwd層,是DW事實層,采用維度建模,星型架構,這一層可細分為dwb與dws;
服務領域:為EDS提供各主題業務明細;
數據ETL過程描述:從dwd層進行輕度清洗,轉化,匯總生成dw層數據,如字符合並,email,證件號,日期,手機號轉換合並;按各個維度進行聚合匯總。


dm層:
數據來源及建模方式:數據來自dw層,采用維度建模,星型架構;
服務領域:數據挖掘,自定義查詢,應用集市;
數據ETL過程描述:從dw層進行粗粒度聚合匯總,按業務需求對事實進行拉寬形成寬表。

st層:
數據來源及建模方式:數據來自dw層,采用維度建模,星型架構;
服務領域:前端報表展示,主題分析,kpi報表;
數據ETL過程描述:從dw層進行粗粒度聚合匯總,如按年、月、季、天對一些維度進行聚合生成業務需求的事實數據。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM