花費 23 ms
數倉1.2 |分層| ODS& DWD& DWS& ADS| 行為數倉

數倉分層 ODS:Operation Data Store原始數據 DWD(數據清洗/DWI) data warehouse detail數據明細詳情,去除空值,臟數據,超過極限范圍的明細解析具體 ...

Sun Mar 24 18:14:00 CST 2019 0 21861
數倉1.4 |業務數倉搭建| 拉鏈表| Presto

電商業務及數據結構 SKU庫存量單位,剩余多少;現在已經被引申為產品統一編號的簡稱,每種產品均對應有唯一的SKU號;每個商品都是一個SKU,每個SKU都有自己獨立的庫存數。也就是說每一個商品詳情展 ...

Mon Mar 25 07:39:00 CST 2019 0 2250
數倉1.3 |行為數據| 業務數據需求

只要是insert into 的就是沒分區 需求一:用戶活躍主題 DWS層--(用戶行為寬表層) 目標:統計當日、當周、當月活動的每個設備明細 1 每日活躍設備明細 dwd_start_l ...

Thu Mar 21 06:31:00 CST 2019 1 1681
數倉1.1 |概述| 集群環境搭建

宏觀上; 模塊調用關系圖復雜問題簡單化; 清晰數據結構; 1天數據1層 1. 數據倉庫DW 數據來源:  爬蟲 日志采集系統 業務數據 財務系統 數據去向:  報表系統、用戶畫像、推薦系統 ...

Tue Mar 19 08:07:00 CST 2019 0 1214
實時--1.1 日志數據分析

1. App產生日志數據,發送web請求: gmall-mock模塊 2. springboot接收日志落盤並發送給kafka: gmall-logger模塊--S ...

Mon May 13 05:07:00 CST 2019 0 486

 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM