数仓分层 ODS:Operation Data Store原始数据 DWD(数据清洗/DWI) data warehouse detail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表 DWS(宽表-用户行为,轻度聚合) data warehouse service ...
数据仓库 我们常提的数仓 DataWarehouse ,就是在我们已有的数据库 他是对数据的存储 的基础之上,增加了对数据的OLAP On Line Analytical Processing ,支持复杂的数据分析操作,更侧重决策支持,提供直观易懂的查询结果,而数据库更着重的是事务处理。换句话讲,就是在数据库已经大量存在的情况下,进一步挖掘数据资源,它包括了一整套的ETL 调度 建模在内的完整理 ...
2021-09-29 17:50 0 572 推荐指数:
数仓分层 ODS:Operation Data Store原始数据 DWD(数据清洗/DWI) data warehouse detail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表 DWS(宽表-用户行为,轻度聚合) data warehouse service ...
简书上一篇博文讲数仓,我觉得和之前转的一篇帆软的博文也是挺有参考和学习价值的。讲清楚了每个分层的概念和做什么。 这是博文的出处https://www.jianshu.com/p/1dd894e5bb62 --------------------------------------------------------------------------------------------- ...
一、ODS层 1、保持数据原貌,不做任何修改 2、数据压缩:LZO压缩,减少磁盘空间 3、创建的是分区表:可以防止后续的全表扫描 包括 用户行为:string line dt ods_start; ods_event(商品列表、商品详情 ...
1.数据仓库DW 1.1简介 Data warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、 ...
@ 目录 数据流向 何为数仓DW 主要特点 与数据库的对比 为何要分层 数据分层 数据运营层ODS 数据仓库层 数据细节层DWD 数据中间层DWM 数据服务层 ...
本文目录: 一、数据流向 二、应用示例 三、何为数仓DW 四、为何要分层 五、数据分层 六、数据集市 七、问题总结 导读 数仓在建设过程中,对数据的组织管理上,不仅要根据业务进行纵向的主题域划分,还需要横向的数仓分层规范。本文作者围绕企业数仓分层展开分析,希望对你有帮助 ...
转自:https://blog.csdn.net/pmdream/article/details/113601956 一. 各种名词解释 1.1 ODS是什么? ODS层最好理解,基本上就是数据从源表拉过来,进行etl,比如mysql 映射到hive,那么到了hive里面就是ods层 ...
转自:https://blog.csdn.net/pmdream/article/details/113601956 前言: 不是做数仓的,但是也需要了解数仓的知识。 其实分层好多因人而异,问了同事好多分层的区别也不是很清晰。 所以后续有机会还是跟数仓的同事碰一下吧~ 一. 各种名词解释 ...