元數據 概念及分類


轉自https://mp.weixin.qq.com/s/efh5JRmPfYmBTG5x8b30lA

1.物理元數據

描述物理資源的元數據,包括但不限於服務器、操作系統、機房位置等信息。

 

2.數據源元數據

描述數據源的元數據,通常包括四類信息:

  • 數據源地址(IP、PORT等)

  • 物理拓撲(主備、角色等)

  • 權限(用戶名、口令等)

  • 庫名、版本、域名等

 

3.存儲元數據

描述對象存儲的元數據,也是通常"狹義"上的元數據,包括幾大類

  • 管理屬性(創建人、應用系統、業務線、業務負責人等)

  • 生命周期(創建時間、DDL時間、版本信息等)

  • 存儲屬性(位置、物理大小等)

  • 數據特征(數據傾斜、平均長度等)

  • 使用特征(DML、刷新率等)

  • 數據結構

    > 表/分區(名稱、類型、備注等)

    > 列(名稱、類型、長度、精度等)

    > 索引(名稱、類型、字段等)

    > 約束(類型、字段等)

 

4.計算元數據

描述數據計算過程的元數據,通常可分為數據抽取(ETL)或數據加工(JOB)兩類計算。每類計算又可以進一步細分

  • 控制元數據(配置屬性、調度策略等)

  • 過程元數據(依賴關系、執行狀態、執行日志等)

 

5.質量元數據

描述數據質量的一類元數據。通常情況下,是通過定義一系列質量指標反映數據質量。

 

6.操作元數據

描述數據是如何進行使用的一類元數據。

  • 數據產生(產生時間、作業信息等)

  • 表訪問(查詢、關聯、聚合等)

  • 表關聯(關聯表、關聯字段、關聯類型、關聯次數)

  • 字段訪問(查詢、關聯、聚合、過濾等)

     

7.運維元數據

描述系統運維層面的元數據,通常包括任務類、報警類及故障類。

 

8.成本元數據

描述數據存儲及計算成本的元數據。

  • 計算成本(CPU、MEM等)

  • 存儲成本(空間、壓縮率等)

     

9.標准元數據

描述數據標准化內容的元數據。

  • 代碼管理(轉換規則、對外接口等)

  • 映射管理

  • 數據展示(樣式、規則、語義、單位等)

     

10.安全元數據

描述數據安全內容的元數據。

  • 安全等級

  • 數據敏感性(是否敏感、脫敏算法等)

     

11.共享元數據

描述數據是如何共享的部分,包括接口方式、格式、內容等。

 

02.業務元數據

 

1.模型元數據

 

數據建模,是一種對業務的描述,通過模型可更好地了解業務。常見的建模方式有范式模型、維度模型、多維建模等。下面以維度模型為例進行說明。

  • 業務線、板塊、過程

  • 數據域、主題域

  • 維度、屬性

  • 指標

  • 事實、度量

  • 集市與應用

 

2.應用元數據

描述數據應用類的元數據。

 

3.分析元數據

從數據分析角度,描述業務的元數據。

  • 數據域、主題域

  • 產品線、板塊、業務過程

  • 業務流程

  • 業務規則

 

03.管理元數據

 

1.管理元數據

描述企業內部,數據管理相關內容。

  • 人員

  • 流程

  • 職責、崗位

  • 組織、部門


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM