浅谈 传统的数据建模和大数据场景下的数据建模


正月十五,夜已深,微冷,不一样的元宵节。

 

经常会被问起传统的数据建模和大数据建模有什么区别,于是就在这里总结一些自己的思考。 

序号   区别项

传统数据建模

大数据建模
模型用途

业务应用的开发

大数据分析
前期调研内容

业务

业务、系统、数据

建模过程

调研业务,抽取业务活动涉及的关键的实体和关系,形成CDM

基于业务需求,根据CDM中的实体和关系,构件实体的必要属性,形成LDM,可作为需求的业务解决方案

选择合适的存储、计算等技术手段,落地LDM,形成PDM,即 完成表的设计

事实表 设计

维度表 设计

数据域/主题域 划分

 建模方法

 CDM--->LDM--->PDM

 维度建模(流行方法)
 设计系统范围

单个应用系统 

 多个应用系统,即 使用多个应用系统的数据进行三大数据分析
 思路 “正向工程”,先建立模型,再通过模型开发应用系统   调研阶段为“逆向工程”,通过现成的业务系统,反推出其业务模型和物理模型
 7      

 

传统的数据建模流程见下图:

 

 

大数据开发过程(包括建模)如下:

一般大数据项目都拿不到业务系统的数据模型文档,至少拿不到准确的、被持续更新维护的模型文档。

其中,在通过逆向工程还原模型的时候,我们只需要针对性的还原其 概念模型和物理模型,没有必要还原其逻辑模型,

因为原始的业务系统逻辑模型是服务于业务系统的物理模型,对大数据项目而言,没有使用的价值。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM