数据仓库命名规范 目录 1. 概述 3 2. 数据仓库命名规范 4 2.1. 命名规范 4 2.1.1. 表属性规范 4 2.1.2. 索引 9 2.1.3. 视图 10 2.1.4. 物化视图 10 2.1.5. 存储过程 10 2.1.6. 触发器 ...
俗话说无规矩不成方圆。我们在搭建数据平台的时候,需要先制定好各种规范,越早越好,并且不断的监督大家是否按照约定执行。一旦大家自由发挥,想要再次统一或者重构就非常的困难。会浪费很大的人力成本和时间成本,因此在这里总结一下数据仓库的规范 关于项目 常规来说,数仓的建设是按照数仓分层模型开发的。也有会按照业务线来分层,在各自业务线下重新分层,单独开发的。我们本次使用的是MySQL hive 数据仓库进 ...
2020-05-24 22:48 0 3506 推荐指数:
数据仓库命名规范 目录 1. 概述 3 2. 数据仓库命名规范 4 2.1. 命名规范 4 2.1.1. 表属性规范 4 2.1.2. 索引 9 2.1.3. 视图 10 2.1.4. 物化视图 10 2.1.5. 存储过程 10 2.1.6. 触发器 ...
一、概述 数据模型是数据管理的分析工具和交流的有力手段;同时,还能够很好地保证数据的一致性,是实现商务智能(Business Intelligence)的重要基础。因此建立、管理一个企业级的数据模型,应该遵循标准的命名和设计规范。 二、命名规范 1.表属性规范 表名 ...
一. 数据仓库层次结构规范 1.1 基本分层结构 系统的信息模型从存储的内容方面可以分为,STAGE接口信息模型、ODS/DWD信息模型,MID信息模型、DM信息模型、元数据信息模型。 在各个信息模型中存储的内容如下描述: 1) SRC接口层 ...
一、数据埋点规范 1、数据传输与协议 标准JSON格式,经过:https(aes加密+gzip压缩)处理,上报到服务端。 2、埋点规范与约束 1)采用事件模型,一切都是事件。所有的数据都以事件形式上报,形成“基础信息 + 事件信息”这种数据模型,包括:SDK自采集、用户行为、App自动行为、APM ...
1 概述 本文档制定了XX数据仓库中数据库对象的命名规范(用户、表、视图、存储过程、函数、表分区、主键、索引、序列等)、数据库编程规范,JAVA编程规范为系统设计和开发工作提供统一的命名标准,提高系统的规整性和代码的可读性,减轻维护工作量,提高工作效率。 2 数据库对象命名规范 2.1 ...
1. 什么是数据仓库? 在wiki中对数据仓库的解释是: 在计算中,数据仓库(DW或DWH),也称为企业数据仓库(EDW),是用于报告和数据分析的系统,被认为是商业智能的核心组成部分 DW是来自一个或多个不同来源的集成数据的中央存储库。 他们将当前和历史数据存储在一个地方,用于为整个企业 ...
声明: 1. 本栏是个人总结,如有错漏,请指正 2. 数据仓库的构建目前业界只有指导方案,并没有统一的标准,每个公司都可以按照实际情况进行设计 3. 本总结参考《阿里巴巴大数据之路》、《数据仓库工具箱》 产生背景 ...
第一章 数仓搭建-ODS层 1)保持数据原貌不做任何修改,起到备份数据的作用。 2)数据采用LZO压缩,减少磁盘存储空间。100G数据可以压缩到10G以内。 3)创建分区表,防止后续的全表扫描,在企业开发中大量使用分区表。 4)创建外部表。在企业开发中,除了自己用的临时表,创建内部表外 ...