1、数据仓库 　　我们常提的数仓（DataWarehouse），就是在我们已有的数据库（他是对数据的存储）的基础之上，增加了对数据的OLAP（On-Line Analytical Processing），支持复杂的数据分析操作，更侧重决策支持，提供直观易懂的查询结果，而数据库更着重的是事务处理 ...

一、ODS层 1、保持数据原貌，不做任何修改 2、数据压缩：LZO压缩，减少磁盘空间 3、创建的是分区表：可以防止后续的全表扫描 包括 用户行为：string line dt 　　　　 ods_start； ods_event（商品列表、商品详情 ...

简书上一篇博文讲数仓，我觉得和之前转的一篇帆软的博文也是挺有参考和学习价值的。讲清楚了每个分层的概念和做什么。 这是博文的出处https://www.jianshu.com/p/1dd894e5bb62 --------------------------------------------------------------------------------------------- ...

本文目录： 一、数据流向 二、应用示例 三、何为数仓DW 四、为何要分层 五、数据分层 六、数据集市 七、问题总结 导读 数仓在建设过程中，对数据的组织管理上，不仅要根据业务进行纵向的主题域划分，还需要横向的数仓分层规范。本文作者围绕企业数仓分层展开分析，希望对你有帮助 ...

1.分层目的 数据能够有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到 层次清晰、依赖关系直观 2.分层的优点： 清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解 减少重复开发：规范数据分层，开发一些通用的中间层 ...

1 、为什么要分层 我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因： 清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据血缘追踪：简单 ...

1、概述 数据仓库中，常见的分层包括ods、dwd、dws、dwt、ads、dim等 2、传统上的数据分层 早期的大数据平台是以hadoop为核心，数据开发也是以MapReduce为主，hive等sql类开发很少见。 因为当数据从多个源头采集上来之后，格式化便成了原始数据。 原始数据 ...

ods层： 数据来源及建模方式：各业务系统的源数据，物理模型与业务模型一致； 服务领域： 为其它逻辑层提供数据； 数据ETL过程描述：把业务数据抽取落地成文本文件，再装载到数据仓库ods层，不做清洗转化。 功能： 1）ods是数仓准备区 2）为dwd提供原始数据 3）减少 ...