內含干貨PPT下載｜一站式數據管理DMS及最新解決方案發布

​簡介： 今天主要給大家介紹一站式數據管理平台DMS以及解決方案的發布。議題包含企業數據管理當前的一些痛，DMS一站式數據管理平台以及其核心技術，實時數倉解決方案以及相應的應用實踐。

“數聚雲端·智馭未來”——阿里雲數據庫創新上雲峰會暨第3屆數據庫性能挑戰賽決賽頒獎典禮已圓滿結束，更多干貨內容歡迎大家觀看峰會直播回放。

峰會直播回放📎數聚雲端 · 智馭未來——阿里雲數據庫創新上雲峰會-技術公開課-阿里雲開發者社區

干貨PPT下載📎文件下載-阿里雲開發者社區

​

中國數字經濟的占比在持續的提升，在企業經營管理過程中行業的頭部集中效應使得精細化運營成為一個非常重要的話題，那么企業的數字價值挖掘就變得越來越重要。

​

回看一個企業內部整個數據生產的生命周期，包含的數據生產與存儲，數據的處理和分析以及數據應用，但實際上很少有一個平台把這三個方面全部打通做成統一支撐的平台。大部分企業隨着各個業務的發展會產生根據業務特點定義的數據存儲生產系統，企業的數倉分析也大部分是獨立建設的，在這個過程中如何實現數據系統之間的打通和價值挖掘,就變成比較困難的問題。所以在各個報告里面我們看到在2022年新業務使用實時數據的占比會達到50%以上。

​

企業在真正實踐過程中就會遇到數據孤島以及管理數據的問題，數據庫類型非常多，數據鏈路的加工過程就非常復雜，維護成本非常高，穩定性的問題挑戰很大。如何進行多種異構數據的統一管理，如何去做安全治理都變成很有挑戰的問題。在這個背景下阿里雲數據庫提出了一站式數據管理平台DMS理念。

​

DMS統一管理企業的數據資產，包括數據庫的開發和設計、數據集成與加工、數據開發、數據分析、數據應用，整個過程全面打通。從架構圖看到，底層對接各種異構的數據源，在中間沉淀了類似數據血緣，數據治理，數據編排，和任務調度，這些都會成為我們中間很重要的數據支撐能力。上層我們會把應用的場景產品化，比如數據安全管理，容災/多活能力，數據歸檔、實時數倉構建等等一些能力產品化，這樣就可以讓更多的企業低門檻去使用數據解決方案。

​

整體技術的架構分三層建設，底層基礎服務提供數據安全體系，數據資產管理的體系，開發運營體系。中間的支撐引擎主要分成管控平面和數據平面兩個部分，控制平面包含任務執行引擎以及穩定變更相關的引擎建設；數據平面包含數據結構的遷移，全量/批的數據同步以及實時的流的數據同步、數據轉換，以及多源異構的聯邦查詢能力。上層是業務功能，主要面向像數據安全、數據庫的DevOps，包括數據集成和數據開發相關的應用場景。

​

DMS包含了幾個重要的核心技術特性，主要包括數據資產與安全，數據庫DevOps能力以及數據集成與開發。

​

在整個數據資產與安全方面，其實最核心構建的是整個全域數據資產管理，讓企業數據不需要進行物理集中就能夠快速找到所要的數據進行數據資產的治理，同時能夠讓數據本身的管理覆蓋整個生命周期的安全。

​

展開兩個點來講，一個是數據的知識圖譜的構建。我們會把業務數據以及它真正的物理元數據全部都采集回來讓業務能夠打標，用schema matching相關的技術去學習數據之間字段之間的關聯關系，把業務的邏輯定義和物理定義映射起來。同時業務在使用DMS開發平台過程中會沉淀人員、數據和權限相關的一些關聯關系以及業務相關領域的數據標記，這些東西會構建成整個數據資產關聯關系知識圖譜，這個知識圖譜就可以應用在多源異構的各種數據類型，怎么樣去根據業務的要求去做一個數倉的寬表，那么數據之間關聯關系的構建過程中，企業的數據工程師就不需要對所有的數據模型非常的熟悉，因為DMS能夠把這些能力提前的沉淀到系統里面，進行選擇篩選過濾，就得到這個數倉的寬表，以及可以通過這個知識圖譜的能力能夠讓企業的數據治理數據安全管理變得更加的可控。

​

關於敏感數據識別，企業內部的所有數據進行統一管理后，平台就可以幫你自動把數據進行分級分類，在分級分類的基礎上可以進行包括GDPR的在內的五種法案的敏感數據自動識別自動發現，企業可以使用我們超過15種的脫敏算法在應用生產過程中。我們也提供了安全代理的能力，讓企業不需要有數據庫的賬號也可以動態的實現數據的查詢和脫敏。

​

第二個部分的核心能力是DevOps，安全和整個開發平台是結合在一起的。我們的整個平台其實有點像workbench是面向開發者的，底下對接着非常多的數據源，上面提供豐富的開發者開發工具集，因此DMS的平台在雲上已經有超過10萬個周活用戶，它會幫助用戶去做數據庫的表結構設計，數據變更，以及相關的發布。我們提供安全規則引擎，它會內嵌在企業數據庫開發的整個操作過程中，開發者會在一個受控的權限體系里面獲得最大的便利性，安全和效率得到很好的平衡，這是整個設計的核心的理念。

​

安全規則引擎本質是把企業的結構設計、數據變更、數據導出等等操作和操作的具體對象，比如對應的數據庫類型（每種數據庫類型可能都有不一樣的最佳實踐），以及對應的工單人員等等串起來，形成操作人、操作動作、操作對象相關的權限映射。阿里內部沉淀了超過兩百多的研發規范模板可以默認使用，也可以由企業內部根據需求來定義自己的DSL，能夠很方便的去定義安全規則能力。

​

在變更部分也實現了變更安全能力，變更安全可以理解是企業變更發布過程中的安全能力，包括像SQL安全的審核，以及正式的SQL執行的過程中，對於表結構或者大批量數據操作，變成多次的小批量，通過SQL自動改寫防止源庫的穩定性抖動，包括表結構的變更的鎖表的問題變成不鎖表變更，等等一些細粒度的變更安全的把控。

​

再往下其實就是要去發揮數據價值，我們重點建設像流批一體這樣的數據傳輸鏈路，包括低代碼的開發平台，通過多引擎的計算能力的支持來構建整個數據集成與開發的能力。

​

整個DMS底下的數據傳輸會基於阿里雲底層建設的數據傳輸服務，傳輸服務DTS是主流雲廠商中最早發布的數據傳輸產品，它實現了多源異構數據的實時傳輸，在實時性以及穩定性上面已經經過很好的錘煉。

​

在結構遷移全量以及增量的整個鏈路實現了完整的實時數據的傳輸，同時對於半結構或者是非結構化數據也會通過語義的識別，元數據的自動構建，包括數據類型的自定義，去構建數據的快速入庫和入倉，把這些數據變成可分析可使用的一種數據資產。

​

整個流批一體的數據架構最主要的是整個體系建設里面使用了Recored Store內存數據處理的模塊，流和批處理轉換一致，整個數據加工處理過程變得很簡單。

​

在數據開發者的界面上，我們提供了拖拉拽的方式去定義數據的加工流程，數據源以及SQL操作的節點，數據傳輸的節點，數據轉換都變成可以通過拖拉拽去定義。企業的應用工程師、數據庫開發者都可以去做這種數據加工定義。

​

阿里雲實時數倉構建解決方案中使用的是庫倉一體的技術架構，就是數據庫和數據倉庫是一體化統一管理的技術架構。相比以前很多做數據鏈路時會把在線數據拉到一個離線存儲去計算，再把計算結果回流到在線生產系統里面，這個流程非常長，數據鏈路和存儲成本都會相應的比較高。我們實時數倉構建的解決方案是在你做全量數據初始化的時候不需要在目標端進行表結構的初始化，我們在批量數據過程中會幫你把表結構自動在目標構建。做增量數據過程中，源端發生任何的表結構變更或者源端的主備切換等變更，都不會影響整個鏈路的穩定性，會在目標端實現這個表結構的同步，對整個鏈路自動透明掉。

接下來通過兩分鍾視頻了解DMS實時數倉構建解決方案。如何通過數據來提升生產力成了企業不斷探索的方向，而數據倉庫在其中發揮着關鍵作用。傳統數倉一般基於T+1數據集成，構建離線數倉以支撐企業各項分析與服務，該方案不但會影響線上業務穩定性，且難以支持企業高頻變化的實時需求，企業由此開始建設實時數倉。那么怎樣構建一個企業及實時數倉呢？接下來為大家介紹如何通過阿里雲一站式數據管理平台DMS和雲原生實時數據倉庫VB引擎來構建與在線系統增刪改的延時保持在一秒內的實時數倉DMS支持兩種實時數倉構建方案，實時數據入倉及基於實時拉鏈表的T+1周期性快照。

其中實時數據入倉支持兩種方式。方式一，通過DMS實現歷史全量+增量數據實時同步至ADB 實時數倉。方式二，通過DMS數據傳輸與加工模塊進行實時數據加工后寫入ADB實時數倉。為了滿足業務上對於T+1快照數據需求，DMS推出了一種不影響線上業務的T+1周期性快照方案。下面介紹該方案使用方式。

通過DMS與工單模式可快速搭建基於實時數據的周期性快照，既能支持小時/天維度的快照分析，也能夠支持回溯任意業務時間點進行分析，從而支持業務側按不同時間統計總存款、總余額、總訂單額等場景需求。

阿里雲實時數倉構建方案相較其他方案提供了如下優勢，一、數據時效性高，且實時鏈路對業務側影響小，不會因為批量拉取數據影響業務側正常運行。二、實現庫倉一體的一站式數據管理，源端運維變更對鏈路無感知，保障多元數據匯聚時效性、穩定性和全鏈路血緣。三、內置復雜實時數據加工、計算邏輯、處理鏈路短。四、低代碼操作能夠大大降低實時數倉的構建難度，提升構建效率的同時，支撐企業數字化轉型過程中的各類實時場景。

下面介紹兩個實踐，第一個案例：某汽車廠商使用DMS+ADB的解決方案來構建數據集市和營銷平台。

​

第二個案例：某銀行使用DMS+ADB構建T+1數據倉庫的解決方案。

​

原文鏈接

本文為阿里雲原創內容，未經允許不得轉載。

​