花费 49 ms
数仓1.2 |分层| ODS& DWD& DWS& ADS| 行为数仓

数仓分层 ODS:Operation Data Store原始数据 DWD(数据清洗/DWI) data warehouse detail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体 ...

Sun Mar 24 18:14:00 CST 2019 0 21861
数仓1.4 |业务数仓搭建| 拉链表| Presto

电商业务及数据结构 SKU库存量单位,剩余多少;现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号;每个商品都是一个SKU,每个SKU都有自己独立的库存数。也就是说每一个商品详情展 ...

Mon Mar 25 07:39:00 CST 2019 0 2250
数仓1.3 |行为数据| 业务数据需求

只要是insert into 的就是没分区 需求一:用户活跃主题 DWS层--(用户行为宽表层) 目标:统计当日、当周、当月活动的每个设备明细 1 每日活跃设备明细 dwd_start_l ...

Thu Mar 21 06:31:00 CST 2019 1 1681
数仓1.1 |概述| 集群环境搭建

宏观上; 模块调用关系图复杂问题简单化; 清晰数据结构; 1天数据1层 1. 数据仓库DW 数据来源:  爬虫 日志采集系统 业务数据 财务系统 数据去向:  报表系统、用户画像、推荐系统 ...

Tue Mar 19 08:07:00 CST 2019 0 1214
实时--1.1 日志数据分析

1. App产生日志数据,发送web请求: gmall-mock模块 2. springboot接收日志落盘并发送给kafka: gmall-logger模块--S ...

Mon May 13 05:07:00 CST 2019 0 486

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM