------------恢復內容開始------------
一、各個層作用
ODS:直接加載的是采集到的原始數據,數據保存原貌不做處理,就一個字段(一行就是一個日志字符串),使用天作為分區表,一般為json數據
DWD:對ods的數據進行展開
例如:如果采集的日志分類型的,可以根據事件的類型分為多個表
電商的比如:點贊、啟動、評論、點擊、廣告、消息通知等事件
my公司的:以行業類型分割為各個陣地表,對json數據進行解析,獲取簡歷、滴滴行程單、郵件落款、http等數據
DWS: (數據服務層): 基於ADS需要統計的主題,創建寬表
ADS: (應用數據層): 基於DWS的寬表,計算出結果
二、命名規范
ODS層命名為ods
DWD層命名為dwd
DWS層命名為dws
ADS層命名為ads
臨時表數據庫命名為xxx_tmp
備份數據數據庫命名為xxx_bak
三、數據集市是數據倉庫的子集
數據集市面向企業級,數據集市面向部門(比如銷售部,相對更少的主題和分層)
------------恢復內容結束------------