第一章简介 数据仓库诞生背景 数据仓库概述 MPP&分布式架构 数据仓库技术实现 常见数据仓库产品 第二章架构 数据仓库架构设计 ETL流程 数据积存功能之ODS层 数据分析功能之DWD、DWS、ADS层 第三章建模 不同系统的建模方法 ROLAP维度模型 ...

来自课程案例学习 某跨国食品超市的信息管理系统，每天都会记录成千上万条各地连锁超市的销售数据。基于大数据的背景，该公司的管理层决定建立FoodMart数据仓库，期望能从庞大的数据中挖掘出有商业价值的信息，来进一步帮助管理层进行决策。 设计一个销售数据仓库。要求： 1、至少4个维度，每个 ...

来自案例学习 数据仓库经过ETL成功创建之后，就可以对数据仓库进行多维分析任务。 任务主要分为： 1、设置数据源，并添加分析时所需表到数据视图。 2、创建并设置维度。 3、设置时间维。 4、设置度量属性，创建维度用法 5、数据部署及展现 * 以下使用SQL Server ...

一、销售案例步骤 （一）ODS层 建立源数据库并生成初始的数据 在Hive中创建源数据过渡区和数据仓库的表 日期维度的数据装载 数据的ETL => 进入dwd层，本案例简单，不需要清洗 （二）DW层 dwd层：ETL清洗，本案例不需要 dws层：建模 ...

本期内容主要介绍使用Hive作为数据仓库的应用场景时，相应的库表结构如何设计。 Hive数据仓库 建立用户画像首先需要建立数据仓库，用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具，依赖于HDFS存储数据，提供的SQL语言可以查询存储在HDFS中的数据。开发时一般使用Hive ...

总结1）数仓概念总结【1】数据仓库的输入数据源和输出系统分别是什么？输入系统：埋点产生的用户行为数据、JavaEE 后台产生的业务数据输出系统：报表系统、用户画像系统、推荐系统2）项目需求及架构总结【1】集群规模计算【2】框架版本选型1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂 ...

一、电商业务简介1.1 电商业务流程1.2 电商常识（SKU、SPU）SKU=Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的 SKU ...

第一章、hive入门 一、hive入门手册 1.什么是数据仓库 1.1数据仓库概念 对历史数据变化的统计，从而支撑企业的决策。比如：某个商品最近一个月的销量，预判下个月应该销售多少，从而补充多少货源。 1.2传统数据仓库面临的挑战 （1）无法满足快速增长的海量数据存储需求 （2）无法有效 ...