项目实战从0到1之hive（23）企业级数据仓库构建（五）：数据仓库项目实战
一、电商业务简介1.1 电商业务流程1.2 电商常识（SKU、SPU）SKU=Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的 SKU ...
原文：项目实战从0到1之hive（22）企业级数据仓库构建（四）：数据仓库项目实战
总结 数仓概念总结 数据仓库的输入数据源和输出系统分别是什么 输入系统：埋点产生的用户行为数据 JavaEE 后台产生的业务数据输出系统：报表系统 用户画像系统 推荐系统 项目需求及架构总结 集群规模计算 框架版本选型 Apache：运维麻烦，组件间兼容性需要自己调研。 一般大厂使用，技术实力雄厚，有专业的运维人员 建议使用 CDH：国内使用最多的版本，但 CM 不开源，但其实对中 小公司使用来说 ...
2020-09-22 15:33 0 430 推荐指数：
相关推荐
项目实战从0到1之hive（26）企业级数据仓库构建（八）：搭建DWD 层-业务数据
1.1 DWD 层（业务数据）1.1.1 商品维度表（全量表）1）建表语句 2）数据装载 1.1.2 优惠券信息表（全量）把 ODS 层 ods_coupon_info 表数据导入到 DWD 层优惠卷信息表，在导入过程中可以做适当的清洗1）建表语 ...
项目实战从0到1之hive（18） 企业级数据仓库构建（一）
一、数据仓库 数据仓库（Data Warehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等数据仓库，并不是数据的最终目 的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：清洗，转义 ...
项目实战从0到1之hive（25）企业级数据仓库构建（七）：搭建DWD 层
一、数仓搭建 - DWD 层 1）对用户行为数据解析 2）对核心数据进行判空过滤 3）对业务数据采用维度模型重新建模，即维度退化 1.1 DWD 层（用户行为启动表数据解析） 1.1.1 创建启动表 1）建表语句 说明：数据采用 parquet 存储方式 ...
项目实战从0到1之hive（24）企业级数据仓库构建（六）：数仓理论及数仓搭建
一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名 ODS层命名为ods_表名 DWD层命名为dwd_dim/fact_表名 DWS层命名为dws_表名 DWT层命名为dwt_购物车 ADS层命名为ads_表名 临时表 ...
企业级数据仓库是什么
一、数据仓库定义 简单理解：数据仓库就是整合多个数据源的历史数据进行细粒度的、多维的分析，帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。 官方定义：数据仓库是一个面向主题的（主题明确）、集成的（从不同的数据源采集到同一个数据源）、随时间变化的（关键数据是可变的可更新的）、但信息 ...
基于Hive数据仓库的标签画像实战
本期内容主要介绍使用Hive作为数据仓库的应用场景时，相应的库表结构如何设计。 Hive数据仓库 建立用户画像首先需要建立数据仓库，用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具，依赖于HDFS存储数据，提供的SQL语言可以查询存储在HDFS中的数据。开发时一般使用Hive ...
数据仓库原理与实战
第一章简介 数据仓库诞生背景 数据仓库概述 MPP&分布式架构 数据仓库技术实现 常见数据仓库产品 第二章架构 数据仓库架构设计 ETL流程 数据积存功能之ODS层 数据分析功能之DWD、DWS、ADS层 第三章建模 不同系统的建模方法 ROLAP维度模型 ...