项目实战从0到1之hive（25）企业级数据仓库构建（七）：搭建DWD 层
一、数仓搭建 - DWD 层 1）对用户行为数据解析 2）对核心数据进行判空过滤 3）对业务数据采用维度模型重新建模，即维度退化 1.1 DWD 层（用户行为启动表数据解析） 1.1.1 创建启动表 1）建表语句 说明：数据采用 parquet 存储方式 ...
原文：项目实战从0到1之hive（26）企业级数据仓库构建（八）：搭建DWD 层-业务数据
. DWD 层 业务数据 . . 商品维度表 全量表 建表语句 数据装载 . . 优惠券信息表 全量 把 ODS 层 ods coupon info 表数据导入到 DWD 层优惠卷信息表，在导入过程中可以做适当的清洗 建表语句 数据装载 查询加载结果 . . 活动维度表 全量 建表语句 数据装载 查询加载结果 . . 地区维度表 特殊 建表语句 数据装载 . . 时间维度表 特殊 预留 建表语句 ...
2020-09-23 14:13 0 460 推荐指数：
相关推荐
项目实战从0到1之hive（22）企业级数据仓库构建（四）：数据仓库项目实战
总结1）数仓概念总结【1】数据仓库的输入数据源和输出系统分别是什么？输入系统：埋点产生的用户行为数据、JavaEE 后台产生的业务数据输出系统：报表系统、用户画像系统、推荐系统2）项目需求及架构总结【1】集群规模计算【2】框架版本选型1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂 ...
项目实战从0到1之hive（23）企业级数据仓库构建（五）：数据仓库项目实战
一、电商业务简介1.1 电商业务流程1.2 电商常识（SKU、SPU）SKU=Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的 SKU 号SPU（Standard Product Unit）：是商品信息聚合的最小单位，是一组可复用 ...
项目实战从0到1之hive（24）企业级数据仓库构建（六）：数仓理论及数仓搭建
一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名 ODS层命名为ods_表名 DWD层命名为dwd_dim/fact_表名 DWS层命名为dws_表名 DWT层命名为dwt_购物车 ADS层命名为ads_表名 临时表 ...
项目实战从0到1之hive（18） 企业级数据仓库构建（一）
一、数据仓库 数据仓库（Data Warehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等数据仓库，并不是数据的最终目 的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：清洗，转义 ...
企业级数据仓库是什么
一、数据仓库定义 简单理解：数据仓库就是整合多个数据源的历史数据进行细粒度的、多维的分析，帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。 官方定义：数据仓库是一个面向主题的（主题明确）、集成的（从不同的数据源采集到同一个数据源）、随时间变化的（关键数据是可变的可更新的）、但信息 ...
数据仓库 业务数仓 DWD层
业务数仓的DWD层一般有两个典型操作： ①因为是DWD层，所以要进行数据清洗。 ②因为数据来源于web项目的数据库，标的设计遵循三范式，因此在数仓里需要进行降维，以减少join次数。 在示例的8张表中，订单表，订单详情表，用户表，支付流水表字段与ODS层一致。对商品表的分类进行降维。增加二级 ...
数据仓库分层DWD、DWB、DWS
数据仓库分层DWD、DWB、DWS DW ：data warehouse 翻译成数据仓库DW数据分层，由下到上为 DWD,DWB,DWSDWD：data warehouse detail 细节数据层，有的也称为 ODS层，是业务层与数据仓库的隔离层DWB：data warehouse base ...