數據倉庫之建設規范


一、數據埋點規范
1、數據傳輸與協議
標准JSON格式,經過:https(aes加密+gzip壓縮)處理,上報到服務端。
2、埋點規范與約束
1)采用事件模型,一切都是事件。所有的數據都以事件形式上報,形成“基礎信息 + 事件信息”這種數據模型,包括:SDK自采集、用戶行為、App自動行為、APM、Debug等數據,都統一以事件形式上報;

2)properties的屬性key盡量復用。比如:商品id,都統一使用item_id,而不是有item_id、id、product_id等不同key都表示商品id;

3)確定事件所屬類別,謹慎新增事件類別。

4)字段命名格式統一以:小寫、數字、下划線連接。比如:app_name(反面:appName或者AppName)

5)嚴格遵守value可選值。比如:channel可選值有appstore,但是不允許埋成app store等;
3、上報策略
加入app進入后台時上報,上報閾值可控制(上傳時間間隔30s,單次上傳最大條數15條)
二、數據層次規范
數據倉庫總共分為四層:ODS、DWD、DWS、ADS,對應各層的縮寫分別:
ODS:Operation Data Store
是數據倉庫第一層數據,直接從原始數據過來的
DWD:Data Warehouse Detail
存放數據倉庫明細層的數據
DWS: Data Warehouse Summary
存放公共匯總層的數據
ADS: Application Data Summary
存放應用層的數據,直接提供給業務人員或報表使用
三、命名規范
1、根據業務過程,抽象基本的業務術語單元
2、對應的術語單元做語義翻譯,可以采用拼音、英文、含義數字,但避免英文,拼音混用
3、拼音、英文盡量在不失原意的情況下采用縮寫形式,采用
a、行業常用術語
b、采用英文重點發音字母
c、避免數字開頭
4、庫命名規范
a、ods層使用目前現有的命名,即跟業務方保持一致,便於跟蹤查找,例如:lucky_admin 或 hbase
b、維表統一放置 dw_dim 庫下
c、主題域相關的表,則放置 dw_數據域庫下
5、表命名規范
能夠合理的區分出表說描述的數據域、數據周期等
維表命名:dim_修飾/描述_范圍/周期
事實表命名規范:fact_層次_數據域_修飾詞/描述_范圍/周期
周期/數據范圍
日快照:d
增量:i
周:w
拉鏈表:l
非分區全量表:a

ODS層大表進行分區
DWD/DWS表必須進行分區


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM