數據集成是當下比較熱門的話題，相關的產品和平台也越來越多。非常多CIO都在各種數據集成平台和產品之間猶豫不決。因此對數據集成平台的框架體系有全面的理解，對各個廠家產品所提供的功能有深入的認識才干為數據平台選型的決策提供可靠的保證。
我有幸參與了國內一個知名企業的集成平台的設計工作，並主導了數據集成平台的需求分析和產品選型工作。這次工作中，研究了非常多新的技術方向和產品，以下我主要講一下數據集成領域的一種新興的產品平台主數據管理平台MDM（Master Data Management）。
主數據的概念
首先介紹一下什么是主數據。這里借用其它站點的一個數據分類模型，我們能夠看到有元數據（metadata）,引用數據（Reference Data），主數據（Master Data），企業結構數據（Enterprise structure Data）,交易活動數據（Transaction Activity Data），交易審計數據（Transaction Audit Data）這六大類數據。
簡要解釋一下這六大類的數據，關於這些數據分類的定義能夠在網上非常easy的找到。
元數據：數據的數據，平時我們設計表時，大部分屬性字段就是元數據。比方，性別，國籍，出生省份等。這個是最接近自然意義的的數據。
引用數據：元數據的可能取值范圍，我們設計表時所說的數據字典往往就是引用數據。比方，性別僅僅能是男和女，男和女就是引用數據。國家的引用數據就是世界上這100多個國家和地區；
主數據：在我們數據庫設計中最重要的一些實體，是由元數據和引用數據實例的集合。DMReview 專欄作家 Jane Griffin 將主數據定義為“...用於為核心業務實體創建和維護全企業‘記錄系統’，以記錄業務交易並評定這些實體的業績所需的信息。”平時我們常碰到的客戶信息，產品信息都屬於主數據。對於主數據的介紹，我們會在后面具體展開說明。
企業結構化數據：企業業務中所需的數據實體 ，可能是多個主數據的集合。不同行業的結構化數據會有非常大不同。
交易活動數據：主數據之間活動產生的數據。比方客戶購買產品的交易記錄就是交易活動數據，工廠生產產品，生產記錄也是交易活動數據。
交易審計數據：我們對數據的全部活動都通過交易審計數據進行記錄。比方我們對客戶信息改動的操作，對交易的添加�和刪除操作，這些活動在非常多關鍵系統（比方銀行）都須要記錄，以合符對應法規的要求（如 Basel II、薩班斯—奧克斯利法案）。
下圖中數據模型中的藍色越深代表語義相關性越強和數據質量越重要，而黃色越深代表數據的數據數量越多、更新的頻率越快、實時抓取的數據越快、數據的生命越短。下圖能夠看到，元數據的數據語義性最強，差點兒不更新，數據量最少，生命周期最長。
http://www.dmreview.com/issues/20060401/1051002-1.html
主數據是企業應用系統中最主要的業務單元，以下是一段英文的原文：Master Data are the fundamental business data in the company, typically long-lived and used across multiple applications。
Core Master Data are operational entities, supporting all fundamental business activity transactions being executed on this level. The Core Master data are common and shareable within the organization。
我認為非常好理解，比方一個產品系統，它處理的基本數據就是生產數據。HR系統處理的基本數據是雇員；CRM系統是客戶
一般來說核心主數據包括：Customers, Contracts, Suppliers, Distributors/Partners,Employees等等。
另外，各個行業對於主數據的管理的需求和期望會有非常大不同，因此行業經驗對於主數據管理也是非常重要的。
主數據管理的概念
從上面的介紹可以了解，主數據並非什么新的概念，但為什么之前沒有主數據管理的產品呢？事實上，解釋這個問題和解釋數據集成出現的原因非常相似。由於之前主數據依附於各個單獨的業務系統，比方HR, ERP，SCM，企業的站點，商業合作伙伴的系統都可能對某一個主數據有存儲，比方某個產品。問題隨之來了，如系統間數據編碼不一致；數據的冗余；某些系統數據的不完整。舉個實際的樣例，假設我們新建一個BI的系統，那么有可能我須要從生產系統，財務系統，物流系統，企業合作伙伴系統多個系統拿到一個完整的關於主數據的信息。顯然，須要一種解決方式，可以提供一個單一的主數據訪問接口，以提高主數據訪問的效率；為企業的市場、銷售、客戶關系管理等活動提供可靠的數據，提高企業的敏捷性。
主數據管理：主數據管理是數據管理的一種高級形式，它必須構建於ETL或者EII（Enterprise Information Integration）等技術之上，因此非常多主數據管理平台本身就包括了數據抽取、數據載入、數據轉換、數據質量管理、數據復制和數據同步等功能。也有某些廠商把MDM作為數據集成產品的一個模塊交付給客戶。
無主數據管理時對主數據訪問
主數據分散在各個系統造成的問題：
數據在各個系統冗余，造成數據訪問繁瑣；編碼不統一； 數據不同步，缺乏一致性；
給企業業務帶來了例如以下影響：
延誤產品面市時間；產品供不應求；不准確的訂單交付 ；銷售效能低下；客戶愜意度減少；生產力減少。
有主數據管理平台時對主數據的訪問的圖示
主數據管理平台帶來的優點：
有統一的主數據訪問平台；企業可以提供一致的完整的共享信息平台；集中的內容豐富和干凈的數據中心；為使用數據的應用，企業業務流程和決策系統提供了一個真實的數據訪問通道。
我個人感覺MDM平台建立之后，最受益的還是BI相關的應用。
主數據管理平台的功能模塊
Master Repositories(主數據資源庫):：X-Ref DB, Masters DB, Master Data Applications;
Data Quality(數據質量保證)：源數據的質量檢查，從源數據系統傳輸到數據緩儲區的全部數據都應首先接受質量檢查后才干導入，源數據的質量檢查應包含接口數據文件格式是否標准化的確認、文件大小確認，記錄數、文件生成時間的確認等內容； ETL系統質量檢查，包含對主外鍵關系、編碼規范的檢查。每次數據的抽取、轉換和載入都必須有完整的日志記錄，並在載入完畢后確認記錄數前后一致。
Data enrichment(數據深度分析，關聯性分析)：企業內部分析；
System Integration（集成組件）：主數據管理器；服務總線（提供data service）；異常處理；映射（mapping）/轉換（Transforming）/載入（loading）；數據交換（Data exchange）；同步流程（Workflow）；Business System；元數據/主數據訪問控制；數據錄入控制；數據採集；管理/安全
主數據管理平台項目的實施
和非常多集成項目一樣，項目的實施最重要的是制定好業務的策略和規划，業務人員，業務需求和行業專家對數據的理解和分析是關鍵，技術平台僅僅是我們思想實現的重要工具，不會起決定性的作用。
提供主數據管理平台的產商
傳統ERP廠商：SAP和ORACLE都基於自己的產品經驗，在它們的ERP套裝軟件產品中添�了主數據管理產品。基於他們行業的經驗，他們的產品有比較完整的主數據管理比較好的數據模型和主數據管理的經驗。Oracle基於自身在CRM和制造行業的深厚經驗，提供很全面的客戶主數據產品UCM8.0和制造業主數據產品PIM12.0，
中間件廠商：TIBCO有專門的MDM產品，我看到的是他們一年前的產品介紹，感覺功能還比較欠缺，缺少非常多重要的功能，當然我還沒有時間研究他們最新的產品。
ORACLE在MDM產品上有着比較明白的戰略和路線圖。在收購BEA后，相信在MDM產品上，ORACLE會結合原本就功能強大的 ODI 工具，加上BEA在數據集成領域產品的特點，基於自己原有的行業經驗，提供更全面的產品，鞏固自己在中間件產品的率先地位。
IBM收購了一個MDM產品，我一向不太願意研究IBM的產品，所以也沒有發言權。我Software AG（WebMethod）做的也能夠，有專門的產品，功能也相對完好。但在實施團隊的力量上，要差一些。
oracle產品的資料能夠在這里下載：http://wmdata.com.cn/oracle/iwom-OFM/index.asp?frm=woohooli
對於主數據管理平台，我會在以后的博客里面深入一些細節問題進行探討。歡迎有興趣的朋友提寶貴意見。