一、前言 　　工作内容的变更，导致重新回到数据仓库模型的架构和设计，于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系，记录下来，作为笔记吧。 二、模型 　　无论数据仓库技术如何变化，从RDBMS到NoSQL,从传统技术到大数据，其实只是实现技术手段的变化，数据仓库建设生命周期的模式 ...

1、范式理论 　　范式：表示一个关系内部各属性之间的联系的合理化程度，范式级别越高，表的设计就越标准。 　　①零范式 　　　　　它只满足一个最基本的条件——数据中不存在重复数据。 　　　　　 　　②一范式 　　　　在零范式的基础上加上字段具有原子性即属性不可分这个条件后便形成了符合 ...

上一篇开了个头，从Kimball数据仓库生命周期方法角度，列出了数据仓库搭建的核心步骤，从这一篇开始将讲述技术路径：技术架构设计和产品选择和安装。 首先先以某公司的数据仓库的总体架构图的视角，了解整个数据仓库搭建起来后结构大体的样子。 最底层是数据源，一般是在线的数据库或者是 ...

1. 什么是数据仓库？ 在wiki中对数据仓库的解释是： 　　在计算中，数据仓库（DW或DWH），也称为企业数据仓库（EDW），是用于报告和数据分析的系统，被认为是商业智能的核心组成部分 DW是来自一个或多个不同来源的集成数据的中央存储库。 他们将当前和历史数据存储在一个地方，用于为整个企业 ...

声明： 1. 本栏是个人总结，如有错漏，请指正 2. 数据仓库的构建目前业界只有指导方案，并没有统一的标准，每个公司都可以按照实际情况进行设计 3. 本总结参考《阿里巴巴大数据之路》、《数据仓库工具箱》 产生背景 ...

第一章 数仓搭建-ODS层 1）保持数据原貌不做任何修改，起到备份数据的作用。 2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。 3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。 4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外 ...

归纳起来就是 主题域设计 分层设计 维度建模反第三范式操作，星型模型和星座模型 分区设计 依照逻辑模型，在数据库中进行建表、索引等。数据仓库，为了满足高性能的需求，可以增加冗余、隐藏表之间的约束等反第三范式操作。 这一阶段，主要针对的是数据库、硬件、性能。 范式 ...

1． 主题性 数据仓库是一般从用户实际需求出发，将不同平台的数据源按设定主题进行划分整合，与传统的面向事务的操作型数据库不同，具有较高的抽象性。面向主题的数据组织方式，就是在较高层次对分析对象数据的一个完整、统一并一致的描述，能完整及统一地刻画各个分析对象所涉及的有关企业的各项数据，以及数据 ...