俗话说无规矩不成方圆。我们在搭建数据平台的时候，需要先制定好各种规范，越早越好，并且不断的监督大家是否按照约定执行。一旦大家自由发挥，想要再次统一或者重构就非常的困难。会浪费很大的人力成本和时间成本，因此在这里总结一下数据仓库的规范 关于项目 常规来说，数仓的建设是按照数仓分层 ...

一、概述 　　数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很好地保证数据的一致性，是实现商务智能（Business Intelligence）的重要基础。因此建立、管理一个企业级的数据模型，应该遵循标准的命名和设计规范。 二、命名规范 　　　　1.表属性规范 　　　　　　表名 ...

一． 数据仓库层次结构规范 1.1 基本分层结构 系统的信息模型从存储的内容方面可以分为，STAGE接口信息模型、ODS/DWD信息模型，MID信息模型、DM信息模型、元数据信息模型。 在各个信息模型中存储的内容如下描述： 1) SRC接口层 ...

一、数据埋点规范 1、数据传输与协议 标准JSON格式，经过：https(aes加密+gzip压缩)处理，上报到服务端。 2、埋点规范与约束 1）采用事件模型，一切都是事件。所有的数据都以事件形式上报，形成“基础信息 + 事件信息”这种数据模型，包括：SDK自采集、用户行为、App自动行为、APM ...

1 概述 本文档制定了XX数据仓库中数据库对象的命名规范（用户、表、视图、存储过程、函数、表分区、主键、索引、序列等）、数据库编程规范，JAVA编程规范为系统设计和开发工作提供统一的命名标准，提高系统的规整性和代码的可读性，减轻维护工作量，提高工作效率。 2 数据库对象命名规范 2.1 ...

1. 什么是数据仓库？ 在wiki中对数据仓库的解释是： 　　在计算中，数据仓库（DW或DWH），也称为企业数据仓库（EDW），是用于报告和数据分析的系统，被认为是商业智能的核心组成部分 DW是来自一个或多个不同来源的集成数据的中央存储库。 他们将当前和历史数据存储在一个地方，用于为整个企业 ...

声明： 1. 本栏是个人总结，如有错漏，请指正 2. 数据仓库的构建目前业界只有指导方案，并没有统一的标准，每个公司都可以按照实际情况进行设计 3. 本总结参考《阿里巴巴大数据之路》、《数据仓库工具箱》 产生背景 ...

第一章 数仓搭建-ODS层 1）保持数据原貌不做任何修改，起到备份数据的作用。 2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。 3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。 4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外 ...