前言
每個組織都有自己的數據管理方式。有的公司准備自研並制定了長期計划,有的公司使用最新的數據管理工具和技術,有的公司則是為了滿足監管機構的要求。這幾種的思路完全不一樣。
要讓公司成為真正的數據驅動型組織,不僅僅需要制定數據策略或推出更新的軟件技術。關鍵在於數據的整體治理和管理,解決這個問題的一個好方法就是元數據管理。元數據管理是DAMA數據治理體系中的一部分,元數據管理與其他數據治理領域巧妙結合,發揮出巨大的作用。
為什么是元數據管理?
我們生活在一個每天都能看到新的概念、技術和工具涌現的時代,在數據領域也是一樣。但如果你試圖理解它們的作用,你會發現基本原理仍然相同,其實最終都是為了解決問題而出現的。由於對數據資產的缺乏管理,各種各樣的問題開始出現。管理元數據並將它們映射到流程、資產、策略和人員中可以為數據資產提供整體概覽和語義。這不僅有助於管理層做出明智的決定,還有助於業務和 技術掌握數據的核心並保持控制。元數據管理對於風險管理也非常重要,可以幫助最大限度地減少風險,滿足合規要求。
元數據管理並不是什么新鮮事。在很久以前,元數據管理就一直通過文檔和電子表格的形式進行着。有的公司可能正在這樣做,但不知道它如何為公司正在進行的所有數據工作帶來價值。隨着各種各樣數據目錄,數據地圖,元數據管理平台的出現,很多商業案例大篇幅的宣傳它們的作用,但是它們到底能不能解決實際問題還不得而知。 如何開始呢?我們可以從中選擇一並在其之上慢慢構建,也可以自研。但是第一步,我建議是從元數據管理開始,這是一個很好的開始方式。在元數據管理中,就要開始考慮使用元模型的方案。在管理業務元數據和技術元數據方面存在許多挑戰,在這種情況下,統一的元模型可以提供很大幫助。元模型可以為所有數據管理計划帶來很多價值。它不僅有助於以結構化方式管理您的元數據,而且還充當將元數據共享給應用程序和流程的來源。
如果你還沒有開始元數據管理的工作,就從統一元模型開始吧!
統一元模型
所有的數據目錄都應該有一個統一的元模型,一些是關系型的,一些是非關系型的。但在概念層面,它們都代表相同的實體。諸如數據集、數據表、數據字段、數據系統、應用程序、分類、業務術語表、數據血緣之類的東西,還有很多很多。因此,創建自己的元模型以按照您想要的方式存儲元數據是非常必要的。這對於將元數據處理到集中的數據目錄或其他模塊需要的接口非常有用。定制模型可以與數據資產盤點並行工作。對於業務元數據,以系統的方式存儲所有元數據而不是維護電子表格也非常有必要。
只是為了說明問題,我准備了一個概念模型來保存技術元數據。
上述元模型還為開發者社區提供了一個框架來構建支持元數據、數據血緣等的應用程序。您可以使用業務元數據對其進行擴展以進一步豐富。
上述模型具有數據發現、數據治理、數據分類、數據隱私、數據血緣等功能所需的組件。
元模型的優點是什么:
端到端視圖:您可以創建所有資產的知識地圖,並充分了解業務流程或實體如何與 IT 系統相關聯。例如:當一個應用程序按計划運行時,必須有一個作業用於計划運行,該作業負責創建創建一些業務價值所需的數據集。
易於集成:如果您的組織擁有許多應用程序、技術、自定義流程,這也是一個優勢,使用目錄來解決它們非常困難並且需要良好的元模型。您可以從應用程序開發掛鈎以將數據推送到此模型。
元數據管理:元模型提供了管理元數據的框架,您實際上可以選擇或遷移到您選擇的目錄。元模型可以作為事實的單一版本。
版本控制:通過元數據版本控制,您可以進行時間回溯以了解過去發生的事情,並將數據用於監管報告或管理報告。
有什么缺點?
當然,這種設計並不是完美的,要確定元模型的范圍並確定您需要其中的哪些屬性需要付出很多努力。您需要確定需要存儲的元數據粒度級別(業務、技術、運營)。您需要確保您的應用程序能夠將所需的元數據推送到此模型。最后但並非最不重要的一點是預算和時間,您需要在這些舉措上投入大量資金和時間。