2021年10月20日，Tapdata 創始人唐建法（TJ）受邀出席 DTCC 2021（中國數據庫技術大會）,並在企業數據中台設計與實踐專場上，
發表主旨演講“Real Time DaaS ：打造面向 TP+AP 業務的數據平台架構”，從 AP 業務場景 vs. TP 業務場景、常見數據平台優劣勢、如何打造面向 TP+AP 業務的數據平台等角度，全面分享了 Tapdata 在全鏈路實時數據融合平台的獨特技術優勢和最佳實踐案例，整場分享干貨滿滿、廣受好評。
從20年前的傳統數倉，到10年前大數據平台，5年前開始火熱的數據中台以及最近出現的湖倉一體新數據平台，企業對這些 AP 業務場景的數據產品及架構有着太多的選擇，但是實際上，企業在 TP 類型業務上的投入和 AP 相比是9：1，為什么沒有面向 TP 業務的數據平台呢？
唐建法指出，之所以 TP 業務數據平台還不多見，是因為數據孤島問題不嚴重的時候，TP 只需要一個RDBMS 就可以解決，同時由於 Technical Difficulty，缺乏合適的工具和技術架構，TP 業務數據平台難以推廣。
TP vs. AP 不難發現，他們有着較大的差異和特點。從業務場景來看 OLTP 如常見的：在小程序上一套新的CRM、租房子（房屋租賃平台）等，與之對應的 OLAP 場景就是：用戶行為洞察（用戶對哪些產品關注比較多，哪些產品比較賺錢）、租房客戶推薦（ 根據客戶行為打上標簽，並推薦相應的房源） ，
其中 OLTP 切中的是企業核心運營價值鏈。
從技術維度來看，OLTP 要求毫秒級的數據響應速度，數百 ~ 數十萬的並發查詢量，而 OLAP 通常可接受數秒到分鍾級的數據響應速度和數個到數十個的並發查詢。在存儲方案上，OLTP 常用Oracle,MySQL,SQLServer,PostgreSQL,DB2,MongoDB,Elastic,Redis 等，而 OLAP 常用Teradata,Greenplum,Hadoop等。
既然 TP 業務場景價值更高，且需求非常明確，那么如何打造一個面向 TP 業務的數據平台架構？類似與IaaS，PaaS或者SaaS，Tapdata 給出的方案是提供一個 DaaS (Data as a Service)： 將企業各個業務系統的數據匯總到一個中央化平台，經過低代碼方式治理以后，形成可復用的企業數據資產，通過無代碼數據接口方式提供給業務使用方。
唐建法結合 Tapdata 在全鏈路實時數據平台方面的實踐，重點解析了 Tapdata Real Time DaaS 架構的特點和創新點：
一個“實時同步+實時處理+實時服務”三位一體的全鏈路實時數據處理及服務平台。
DaaS 架構之一：實時數據采集同步。Tapdata 的第一步就是將批量、滯后的 ETL 換成了 CDC 方式，基於數據庫 Write Ahead Log 日志同步監聽的方式來進行在不同系統之間的數據復制，它的優勢在於：對源庫性能影響小；資源消耗少；從事務在源端提交開始到更新寫入同步的目標庫，延遲可以小於1秒，能夠滿足對實時性要求較高的業務場景；
DaaS 架構之二：基於Pipeline的流式數據處理建模。當我們把需要的數據從源庫里面無侵入、准實時地抽取了出來之后，可能還需要：對來自多個庫的數據進行合並；對表結構進行重構，組成新的模型；構建業務寬表等。基於 Tapdata 實時流數據處理技術，可以實現事件觸發、毫秒級數據更新、不間斷持續運行，從而滿足 TP 業務和實時分析等場景需求。
DaaS 架構之三：基於分布式數據庫 MongoDB 或 TiDB 的中間庫存儲。相比 AP 數據平台常用的 Hadoop 大數據存儲方案， 比較成熟的分布式數據庫（MongoDB 或 TiDB）更適合作為 DaaS 的存儲方案。主要原因是 DaaS 的很大一部分能力需要直接對接業務系統，高並發，毫秒級響應是必備的能力。這種能力只有基於索引機制的分布式數據庫才可以做到。MongoDB 的模型變動靈活，非常適合多源快速融合，無需復雜關系建模。而 TiDB 的 HTAP 則能不錯的支撐一些常見的分析業務。
此外，Tapdata Real Time DaaS 還具備易集成、易拓展、低代碼、可視化等優勢，相比自建實時數據平台不僅落地實施快、排錯難度低，還可以大幅降低學習成本。
最后，TJ 對 Tapdata Real Time DaaS 的主要技術場景和業務場景做了總結梳理：
如果你是一個應用架構師或者數據架構師，DaaS架構可以在以下幾方面作為選型參考：
- 技術場景一：快速數據交付。TiDB, Neo4J，Nebula, Elastic Search, GreatDB, Dameng, 數不勝數的新型數據庫和國產數據庫品牌都在各個企業生根發芽，而每一個新數據庫場景的落地，都有可能需要獲取已有業務系統的數據。DaaS 價值：直接從 DaaS 導入並保持持續同步，滿足實時數據更新的需求，從數周的時間縮短到數小時內完成數據交付；
- 技術場景二：實時數據中台。實時打通企業數據孤島，對數據進行實時采集，治理及建模，構建企業的主數據系統，為企業的交互式業務，包括客戶管理、生產運營管理等提供一個完整全面的企業數據底座。DaaS 價值：孤島數據匯聚，中央化數據存儲，去重、合並、重新建模，主數據管理，構建數據目錄，主要支撐前端交互式業務。
- 技術場景三：實時數據大屏。為帆軟、Tableau或自研的數據可視化平台提供數據固化視圖，以亞秒級的性能為這些可視化平台供數。和傳統大屏依賴 SQL 和邏輯視圖的方案，實時大屏交互體驗無需等待，非常流暢。DaaS 價值：數據采集同步，寬表構建，統計聚合計算。
- 技術場景四：實時數倉。將企業主數據及運營數據統一匯聚到平台，按照數倉分層理論分成基礎數據，主數據和匯總數據層， 為企業BI、報表等提供快速的數據支撐。DaaS 價值：數數據同步，數據分層，數據目錄，分析聚合能力。
- 技術場景五：企業數據服務平台。企業內部部門眾多，各業務均需要獲取企業相關運營數據，通過構建一個統一的數據服務平台，部門可以快速的獲取業務所需要的數據，並且通過API方式可以實現自助訪問。DaaS 價值：數據同步，數據目錄，API發布，基於內存的數據庫，高並發查詢。
如果你更關注 DaaS 可以創造什么樣的業務價值，以下是幾個比較常見的場景 DaaS 架構會為企業實現這些業務提供顯著的降本增效的能力：
- 業務場景一：全渠道商品及庫存中心。大型企業往往有不同業務線，由不同IT部門支撐，並且有線上線下等不同渠道。全渠道營銷需要打通各個業務系統，將商品，客戶，訂單，庫存，會員等信息進行統一，給最終客戶一個全渠道商品檢索，訂購和售后的最佳體驗。DaaS 價值：提客戶體驗：一站式購物；IT效率：逐漸下架傳統渠道。
- 業務場景二：SCRM。小程序、釘釘等建立新一代客戶關懷系統或銀行推出一套新的個貸/信用卡業務等。DaaS 價值：提供完整實時的客戶信息給前端業務，加速業務系統的上線。
- 業務場景三：360度客戶視圖。客戶信息在多套 CRM 系統維護，信息不一致，更新不及時，無法有效進行 cross sale 和 upsale，客戶服務體驗差，沒有統一的入口管理客戶信息。DaaS 價值：提高客戶體驗： 提供准確統一的客戶信息；提高營收: 准確的客戶標簽和相應的推薦帶來更多收入。
- 業務場景四：實時風控。銀行個貸，互金小額貸，保險等在線金融業務需要對客戶進行實時風險管控。做法是將來自於金融系統和外部系統（信用、司法、公安等）的個人數據進行統一匯聚，在申請流程中實時查詢客戶的風險信息並提供個算法引擎做決策。DaaS 價值：完整實時的信息為風控提供高質量的判斷，降低壞賬率，提高營收利潤。
在分享結束后提問環節，TJ 回答了的一個常見的用戶問題：Tapdata 可以用來做數據打通，形成一個可復用的實時數據平台，但是我們往往首要的業務訴求往往是做一些統計分析，大屏展示和運營指標。這樣的話是否合適使用 Tapdata 呢？TJ 解釋到，這些偏向於運營指標和聚合類計算的屬於相對簡單的分析場景，是完全可以在 DaaS 平台里完成。作為存儲的 MongoDB 自帶豐富的聚合框架計算能力，Tapdata 的流式計算也提供聚合框架，基本上可以以流式預聚合 + 數據庫聚合計算兩種技術能力支撐上述的數據場景。
相較於大數據平台，Tapdata
的方案能夠提供更加准確，更加即時的數據指標和實時分析結果。
獲取完整演講 PPT 內容，請點擊：
http://tapdata-user.mikecrm.com/Z1V3zoT，了解更多 Tapdata Real Time DaaS 相關干貨內容請關注 Tapdata 技術博客：
https://tapdata.net/blog.html ，免費試用請點擊：
http://tapdata-user.mikecrm.com/IpE21eG 。