数仓分层 1.ODS层 原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理,起到备份数据的作用。数据采用LZO压缩,并创建索引减少磁盘存储空间(切片)。创建分区表,防止后续全表扫描。可以通过创建外部表供多人使用,内部表(仅供自己使用) 2.DWD层 明细数据层,对ODS层数 ...
什么是维度 维度是维度建模的基础和灵魂。在维度建模中,将度量称为 事实 ,将环境描述为 维度 ,维度是用于分析事实所需要的多样环境。 例如,在分析交易过程时,可以通过买家 卖家 商品和时间等维度描述交易发生的环境。 什么是维度属性 维度所包含的表示维度的列,称为维度属性。维度属性是查询约束条件 分组和报表标签生成的基本来源,是数据易用性的关键。 例如,在查询请求中,获取某类目的商品 正常状态的商品 ...
2021-06-11 11:19 0 172 推荐指数:
数仓分层 1.ODS层 原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理,起到备份数据的作用。数据采用LZO压缩,并创建索引减少磁盘存储空间(切片)。创建分区表,防止后续全表扫描。可以通过创建外部表供多人使用,内部表(仅供自己使用) 2.DWD层 明细数据层,对ODS层数 ...
为什么要设计数据分层 ——参考《一种通用的数据仓库分层方法》 这是数据仓库同学在设计数据分层时首先要被挑战的问题,类似的问题可能会有很多,比如说“为什么要做数据仓库?”、“为什么要做元数据管理?”、“为什么要做数据质量管理?”。当然,这里我们只聊一下为什么要做设计数据分层。 作为一名 ...
宽表的设计 其实宽表是数仓里面非常重要的一块,前面我们介绍过了维度表事实表,今天我们介绍一下宽表,前面我们说过了数仓是分层的,这是技术进步和时代变化相结合的产物,数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发。 宽表主要出现在dwd 层和报表层,当然有的人说dws 层也有,宽表 ...
大家好,我是云祁!今天和大家聊聊数据仓库中维度表设计的那些事。 维度表是维度建模的灵魂所在,在维度表设计中碰到的问题(比如维度变化、维度层次、维度一致性、维度整合和拆分等)都会直接关系到维度建模的好坏,因此良好的维表设计就显得至关重要,今天就让我们就一起来探究下关于维表设计的相关概念和一些技术 ...
来区分即可 基于产品映射的考虑,字典表设计可以是以下字段: 标准字典名 标准字典值 ...
累计快照事实表的概念 累积快照事实表用来表述过程开始和结束之间的关键步骤事件,覆盖过程的整个生命周期,通常具有多个日期字段来记录关键时间点, 当过程随着生命周期不断变化时,记录也会随着过程的变化而被修改。 设计过程 对于累积快照事实表,其建模过程和事务事实表相同,适用于维度建模的步骤 ...
聚集型事实表概念 数据仓库的性能是数据仓库建设是否成功的重要标准之一。 聚集主要是通过汇总明细粒度数据来获得改进查询性能的效果。通过访问聚集数据,可以减少数据库在响应查询时必须执行的工作量,能够快速响应用户的查询,同时有利于减少不同用户访问明细数据带来的结果不一致问题。尽管聚集能带来良好的收益 ...
事务事实表概念 事务事实表用来描述业务过程,跟踪空间或时间上某点的度量事件,保存的是最原子的数据,也称为“原子事实表“ 设计过程 任何类型的事件都可以被理解为一种事务。比如交易过程中的创建订单、买家付款,物流过程中的揽货、发货、签收,退款中的申请退款、申请小二介入等,都可以被理解为一种事务 ...