正月十五,夜已深,微冷,不一样的元宵节。
经常会被问起传统的数据建模和大数据建模有什么区别,于是就在这里总结一些自己的思考。
序号 | 区别项 | 传统数据建模 |
大数据建模 |
1 | 模型用途 | 业务应用的开发 |
大数据分析 |
2 | 前期调研内容 | 业务 |
业务、系统、数据 |
3 | 建模过程 | 调研业务,抽取业务活动涉及的关键的实体和关系,形成CDM 基于业务需求,根据CDM中的实体和关系,构件实体的必要属性,形成LDM,可作为需求的业务解决方案 选择合适的存储、计算等技术手段,落地LDM,形成PDM,即 完成表的设计 |
事实表 设计 维度表 设计 数据域/主题域 划分 |
4 | 建模方法 | CDM--->LDM--->PDM |
维度建模(流行方法) |
5 | 设计系统范围 | 单个应用系统 |
多个应用系统,即 使用多个应用系统的数据进行三大数据分析 |
6 | 思路 | “正向工程”,先建立模型,再通过模型开发应用系统 | 调研阶段为“逆向工程”,通过现成的业务系统,反推出其业务模型和物理模型 |
7 |
传统的数据建模流程见下图:
大数据开发过程(包括建模)如下:
一般大数据项目都拿不到业务系统的数据模型文档,至少拿不到准确的、被持续更新维护的模型文档。
其中,在通过逆向工程还原模型的时候,我们只需要针对性的还原其 概念模型和物理模型,没有必要还原其逻辑模型,
因为原始的业务系统逻辑模型是服务于业务系统的物理模型,对大数据项目而言,没有使用的价值。