项目实战从0到1之hive（22）企业级数据仓库构建（四）：数据仓库项目实战
总结1）数仓概念总结【1】数据仓库的输入数据源和输出系统分别是什么？输入系统：埋点产生的用户行为数据、JavaEE 后台产生的业务数据输出系统：报表系统、用户画像系统、推荐系统2）项目需求及架构总结【1】集群规模计算【2】框架版本选型1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂 ...
原文：企业级数据仓库是什么
一 数据仓库定义 简单理解：数据仓库就是整合多个数据源的历史数据进行细粒度的 多维的分析，帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。 官方定义：数据仓库是一个面向主题的 主题明确 集成的 从不同的数据源采集到同一个数据源 随时间变化的 关键数据是可变的可更新的 但信息本身相对稳定 一般只进行查询的操作 的数据集合，用于对管理决策过程的支持。 二 数据仓库应用 差异项 数据库 数据仓 ...
2021-10-06 22:28 0 192 推荐指数：
相关推荐
项目实战从0到1之hive（23）企业级数据仓库构建（五）：数据仓库项目实战
一、电商业务简介1.1 电商业务流程1.2 电商常识（SKU、SPU）SKU=Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的 SKU ...
项目实战从0到1之hive（26）企业级数据仓库构建（八）：搭建DWD 层-业务数据
1.1 DWD 层（业务数据）1.1.1 商品维度表（全量表）1）建表语句 2）数据装载 1.1.2 优惠券信息表（全量）把 ODS 层 ods_coupon_info 表数据导入到 DWD 层优惠卷信息表，在导入过程中可以做适当的清洗1）建表语 ...
项目实战从0到1之hive（18） 企业级数据仓库构建（一）
一、数据仓库 数据仓库（Data Warehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等数据仓库，并不是数据的最终目 的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：清洗，转义 ...
项目实战从0到1之hive（25）企业级数据仓库构建（七）：搭建DWD 层
一、数仓搭建 - DWD 层 1）对用户行为数据解析 2）对核心数据进行判空过滤 3）对业务数据采用维度模型重新建模，即维度退化 1.1 DWD 层（用户行为启动表数据解析） 1.1.1 创建启动表 1）建表语句 说明：数据采用 parquet 存储方式 ...
项目实战从0到1之hive（24）企业级数据仓库构建（六）：数仓理论及数仓搭建
一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名 ODS层命名为ods_表名 DWD层命名为dwd_dim/fact_表名 DWS层命名为dws_表名 DWT层命名为dwt_购物车 ADS层命名为ads_表名 临时表 ...
数据仓库是什么
数据库是最常听到的名词之一了，但是当提到数据仓库的时候，就会疑问，数据仓库是数据库吗？ 如果不是，数据仓库是什么，用来干什么的呢？ 平时遇到这个问题一般还真是不好简单明了的回答，因为也的确不是一两句话说的清的。那么数据仓库到底是什么呢，跟数据库有什么区别呢？ 数据仓库是什么 ...
数据仓库是什么？
数据仓库是伴随着信息技术和决策支持系统（DSS，Decision Support System）的发展而产生的，利用历史的操作数据进行管理和决策。 数据仓库是一个面向主题的、集成的、非易失的、随着时间变化的，用于支持管理人员决策的数据集合，数据仓库包含粒度化的企业数据，在不同的粒度级别上对数据 ...