數倉分層的理解


------------恢復內容開始------------

一、各個層作用

ODS:直接加載的是采集到的原始數據,數據保存原貌不做處理,就一個字段(一行就是一個日志字符串),使用天作為分區表,一般為json數據

DWD:對ods的數據進行展開

例如:如果采集的日志分類型的,可以根據事件的類型分為多個表

電商的比如:點贊、啟動、評論、點擊、廣告、消息通知等事件

my公司的:以行業類型分割為各個陣地表,對json數據進行解析,獲取簡歷、滴滴行程單、郵件落款、http等數據

DWS: (數據服務層): 基於ADS需要統計的主題,創建寬表
ADS: (應用數據層): 基於DWS的寬表,計算出結果

二、命名規范

ODS層命名為ods

DWD層命名為dwd

DWS層命名為dws

ADS層命名為ads

臨時表數據庫命名為xxx_tmp

備份數據數據庫命名為xxx_bak

三、數據集市是數據倉庫的子集

數據集市面向企業級,數據集市面向部門(比如銷售部,相對更少的主題和分層)

 

------------恢復內容結束------------


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM