如题,今天要聊得这个话题,包含了四个“治理”。 先上一张图: 看完这张图你有什么想法,这张图说明了什么? 它是在描述公司治理、IT治理、数仓治理和数据治理的关系吗? 如果这张图是在描述四个“治理”之间的层次结构,那你认为哪一个结构是正确的呢? 如果您是企业的高管,您会选 ...
本文分为两大节介绍,第一节是数仓建设,第二节是数据治理,内容较长,还请耐心阅读 在谈数仓之前,先来看下面几个问题: 数仓为什么要分层 用空间换时间,通过大量的预处理来提升应用系统的用户体验 效率 ,因此数据仓库会存在大量冗余的数据 不分层的话,如果源业务系统的业务规则发生变化将会影响整个数据清洗过程,工作量巨大。 通过数据分层管理可以简化数据清洗的过程,因为把原来一步的工作分到了多个步骤去完成, ...
2021-07-22 15:34 0 577 推荐指数:
如题,今天要聊得这个话题,包含了四个“治理”。 先上一张图: 看完这张图你有什么想法,这张图说明了什么? 它是在描述公司治理、IT治理、数仓治理和数据治理的关系吗? 如果这张图是在描述四个“治理”之间的层次结构,那你认为哪一个结构是正确的呢? 如果您是企业的高管,您会选 ...
在大数据时代,凡是AI类项目的落地,都需要具备数据、算法、场景、计算力四个基本元素,缺一不可。 处理大数据已经不能仅仅依靠计算力就能够解决问题,计算力只是核心的基础,还需要结合不同的业务场景与算法相互结合,沉淀出一个完整的智能化平台。 数据中台就是以云计算为数据智能提供的基础计算力为前提 ...
一、数据模型架构原则 1. 数仓分层原则 优秀可靠的数仓体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要避免链路过长。那么问题来了,一直在讲数仓要分层,那数仓分几层最好? 目前市场上主流的分层方式眼花缭乱,不过看事情不能只看表面,还要看到内在的规律,不能为 ...
建表SQL参考:(每个字典一个表,比如办学类型一个表dim_bxlx,民族一个表dim_mz) ----更新 通常标准字典表中的字典名和原始表会有出入,例如标准字典为男女,原始 ...
1. 什么是指标体系 ▍1.1 指标体系定义 指标体系是将零散单点的具有相互联系的指标,系统化的组织起来,通过单点看全局,通过全局解决单点的问题。它主要由指标和体系两部分组成。 指标是指将业务单元细分后量化的度量值,它使得业务目标可描述、可度量、可拆解,它是业务和数据的结合 ...
一 复杂业务梳理 数仓建设初期,需要了解各种业务,有些业务比较复杂,对数据开发人员的要求比较高,这个时候,需要和业务开发多交流沟通,可以看看他们的详细设计文档,ER图和时序图,多方位去了解,最终落成文档共享 二 技术选型困难 技术选型也是需要在数仓建设前就需要考虑的,从数据抽取同步 ...
本文目录: 一、数据流向 二、应用示例 三、何为数仓DW 四、为何要分层 五、数据分层 六、数据集市 七、问题总结 导读 数仓在建设过程中,对数据的组织管理上,不仅要根据业务进行纵向的主题域划分,还需要横向的数仓分层规范。本文作者围绕企业数仓分层展开分析,希望对你有帮助 ...
本文将全面讲解数仓建设规范,从数据模型规范,到数仓公共规范,数仓各层规范,最后到数仓命名规范,包括表命名,指标字段命名规范等! 目录: 一、数据模型架构原则 数仓分层原则 主题域划分原则 ...