构建数据仓库五步法
一、确定主题 即确定数据分析或前端展现的主题。（以汽车行业的KPI管理分析系统为例） 例如：我们希望分析某年某月某区域某门店销售情况，这就是一个主题。 主题要体现出某一方面的各分析角度（维度）和统计数值型数据（量度）之间的关系，确定主题时要综合考虑。统计数值型数据（量度）存在于中间的事实表 ...
原文：6步搭建企业的数据仓库
欢迎访问网易云社区，了解更多网易技术产品运营经验。 数据仓库作为企业提供决策支持而构建的集成化数据环境，本身并不产生或者消费数据，基本架构包含的是数据流入流出的过程，首先放上一张数据仓库的架构图。数据仓库作为中间集成化数据管理的一个平台，底层有多种数据来源，流入数据仓库之后对上层应用开放。 分析业务需求，确定数据仓库主题 数据模型的创建依赖数据仓库主题的确定，在搭建数据仓库之前，首先就是要充分了解 ...
2018-11-29 16:41 0 623 推荐指数：
相关推荐
企业级数据仓库是什么
一、数据仓库定义 简单理解：数据仓库就是整合多个数据源的历史数据进行细粒度的、多维的分析，帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。 官方定义：数据仓库是一个面向主题的（主题明确）、集成的（从不同的数据源采集到同一个数据源）、随时间变化的（关键数据是可变的可更新的）、但信息 ...
项目实战从0到1之hive（26）企业级数据仓库构建（八）：搭建DWD 层-业务数据
1.1 DWD 层（业务数据）1.1.1 商品维度表（全量表）1）建表语句 2）数据装载 1.1.2 优惠券信息表（全量）把 ODS 层 ods_coupon_info 表数据导入到 DWD 层优惠卷信息表，在导入过程中可以做适当的清洗1）建表语 ...
项目实战从0到1之hive（25）企业级数据仓库构建（七）：搭建DWD 层
一、数仓搭建 - DWD 层 1）对用户行为数据解析 2）对核心数据进行判空过滤 3）对业务数据采用维度模型重新建模，即维度退化 1.1 DWD 层（用户行为启动表数据解析） 1.1.1 创建启动表 1）建表语句 说明：数据采用 parquet 存储方式 ...
项目实战从0到1之hive（22）企业级数据仓库构建（四）：数据仓库项目实战
总结1）数仓概念总结【1】数据仓库的输入数据源和输出系统分别是什么？输入系统：埋点产生的用户行为数据、JavaEE 后台产生的业务数据输出系统：报表系统、用户画像系统、推荐系统2）项目需求及架构总结【1】集群规模计算【2】框架版本选型1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂 ...
项目实战从0到1之hive（23）企业级数据仓库构建（五）：数据仓库项目实战
一、电商业务简介1.1 电商业务流程1.2 电商常识（SKU、SPU）SKU=Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的 SKU ...
ETL构建数据仓库五步法
ETL构建企业级数据仓库五步法 在数据仓库构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了从数据清洗，整合，到转换，加载等的各个过程，如果说数据仓库是一座大厦，那 么ETL就是大厦的根基，ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键 ...