正月十五,夜已深,微冷,不一樣的元宵節。
經常會被問起傳統的數據建模和大數據建模有什么區別,於是就在這里總結一些自己的思考。
序號 | 區別項 | 傳統數據建模 |
大數據建模 |
1 | 模型用途 | 業務應用的開發 |
大數據分析 |
2 | 前期調研內容 | 業務 |
業務、系統、數據 |
3 | 建模過程 | 調研業務,抽取業務活動涉及的關鍵的實體和關系,形成CDM 基於業務需求,根據CDM中的實體和關系,構件實體的必要屬性,形成LDM,可作為需求的業務解決方案 選擇合適的存儲、計算等技術手段,落地LDM,形成PDM,即 完成表的設計 |
事實表 設計 維度表 設計 數據域/主題域 划分 |
4 | 建模方法 | CDM--->LDM--->PDM |
維度建模(流行方法) |
5 | 設計系統范圍 | 單個應用系統 |
多個應用系統,即 使用多個應用系統的數據進行三大數據分析 |
6 | 思路 | “正向工程”,先建立模型,再通過模型開發應用系統 | 調研階段為“逆向工程”,通過現成的業務系統,反推出其業務模型和物理模型 |
7 |
傳統的數據建模流程見下圖:
大數據開發過程(包括建模)如下:
一般大數據項目都拿不到業務系統的數據模型文檔,至少拿不到准確的、被持續更新維護的模型文檔。
其中,在通過逆向工程還原模型的時候,我們只需要針對性的還原其 概念模型和物理模型,沒有必要還原其邏輯模型,
因為原始的業務系統邏輯模型是服務於業務系統的物理模型,對大數據項目而言,沒有使用的價值。