淺談 傳統的數據建模和大數據場景下的數據建模


正月十五,夜已深,微冷,不一樣的元宵節。

 

經常會被問起傳統的數據建模和大數據建模有什么區別,於是就在這里總結一些自己的思考。 

序號   區別項

傳統數據建模

大數據建模
模型用途

業務應用的開發

大數據分析
前期調研內容

業務

業務、系統、數據

建模過程

調研業務,抽取業務活動涉及的關鍵的實體和關系,形成CDM

基於業務需求,根據CDM中的實體和關系,構件實體的必要屬性,形成LDM,可作為需求的業務解決方案

選擇合適的存儲、計算等技術手段,落地LDM,形成PDM,即 完成表的設計

事實表 設計

維度表 設計

數據域/主題域 划分

 建模方法

 CDM--->LDM--->PDM

 維度建模(流行方法)
 設計系統范圍

單個應用系統 

 多個應用系統,即 使用多個應用系統的數據進行三大數據分析
 思路 “正向工程”,先建立模型,再通過模型開發應用系統   調研階段為“逆向工程”,通過現成的業務系統,反推出其業務模型和物理模型
 7      

 

傳統的數據建模流程見下圖:

 

 

大數據開發過程(包括建模)如下:

一般大數據項目都拿不到業務系統的數據模型文檔,至少拿不到准確的、被持續更新維護的模型文檔。

其中,在通過逆向工程還原模型的時候,我們只需要針對性的還原其 概念模型和物理模型,沒有必要還原其邏輯模型,

因為原始的業務系統邏輯模型是服務於業務系統的物理模型,對大數據項目而言,沒有使用的價值。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM