目錄
Tapdata CLoud介紹
Tapdata Cloud是由Tapdata提供的集數據同步、數據融合（即將上線）、數據服務（即將上線）為一體的實時數據融合服務，能夠在跨雲、跨地域、多類型數據源的場景下，提供毫秒級的實時數據同步服務和數據融合服務。
Tapdata CLoud工作原理
Tapdata Cloud包含兩部分：
- Tapdata cloud manager，TCM是Tapdata Cloud的管理端，負責agent實例的安裝，同步任務的配置、分發、任務狀態監測。
- Tapdata agent，是Tapdata Cloud數據同步服務的執行實例，負責從TCM獲取任務信息，通過流式技術從源系統獲取數據、處理轉換數據並發送到目標系統，並在任務執行過程中監測並上報任務狀態至TCM。
Tapdata Cloud的數據同步包括全量同步和實時增量同，實現的過程如下圖所示：
Tapdata CLoud名詞解釋
- 全量數據同步：又指數據庫遷移/數據庫克隆，在數據流任務中，各種庫級別數據源之間的數據全量遷移，適用於實例數據遷移、數據上下雲遷移、數據庫拆分擴容等業務場景。
- 增量數據同步：在數據流任務中，多個數據源之間通過特定的關聯關系或處理的數據實時同步，適用於在不影響用戶業務的情況下，滿足用戶對數據的分析、處理、災備等方面的場景。
- 數據源：從外部連接到Tapdata系統的數據來源。當前支持的數據源主要指數據庫（Database），后續將逐步增加File、GridFS、RestAPI、Dummy、Custom、UDP、Cache等類型。
- 源端連接: 是指在數據同步任務中，能夠訪問源數據對象並能夠查詢數據的連接配置。
- 目標端連接：是指在數據同步任務中，能夠訪問目標數據對象並能夠操作數據的連接配置。
- Agent：是指運行同步任務的執行程序，負責從管理端獲取任務、連接源數據源、執行數據轉換、輸出到目標數據源。
- TCM管理端：Tapdata雲端管理控制台，讓用戶可以自主定義編排同步任務，並下發同步任務給到同步實例。
Tapdata Cloud安裝使用
登錄TCM管理端 https://cloud.tapdata.net/console/#/workbench
- 創建Agent管理，根據部署提示選擇自己的系統對於的Agent包
我的系統是linux部署Agent，復制命令並在本地部署環境執行，其包含 Tapdata Agent 的下載、自動部署及啟動。
- 創建數據庫連接，根據自己數據庫選擇
至少創建兩個數據源，才可以做數據同步。
- 創建任務，需要三步
- 選擇源端與目標端連接
- 任務設置
- 映射設置
執行同步完成，所需要時間、等等很多數據都可以在運行監控中查看
- 選擇源端與目標端連接
Tapdata Cloud采用了多種網絡安全措施
- 單向連接：同步實例節點單向連接管控端運行服務。 Tapdata agent實例節點對外不主動暴露網絡信息，只會連接 TCM管理端服務，獲取任務信息、上報狀態信息。
- HTTPS 協議：用戶部署的Tapdata agent實例節點和 TCM 通信鏈路采用 HTTPS 協議，防止盜取並篡改信息。
- 可信環境：自建模式下，所有數據流轉均發生在受用戶管理的服務器和網絡環境，數據不流出泄漏。
Tapdata CLoud 優勢
- 創新的實時數據同步技術
創新性地將數據庫CDC技術與流式計算技術融合，將數據同步過程中的數據處理過程向用戶開放，讓數據同步不再是單一的復制，使得用戶可以基於數據實現更多創新可能。 - 零代碼可視化拖拽操作
TapData Cloud數據同步任務的編排與設置流程支持拖拽式零代碼可視化操作，支持多級多節點同時同步操作，極大的降低了同步任務流定義的復雜度，提升了效率和質量。 - 完美支持SQL->NOSQL
完美的JSON支持，可通過拖拽的方式輕松實現從關系型數據庫到非關系型數據實時同步，同時還支持一對一、多對一、一對多等多種建模方式，輕松幫助用戶實現數據庫現代化。 - 全面的數據庫支持
全面支持主流的開源數據庫及商業數據庫以及消息類中間件，包括：MongoDB、MySQL、Oracle、SQL Server、DB2、elastic、Kafka、Sybase、PostgreSQL、Redis、GaussDB等。 - 可視化任務運行監控
通過可視化界面對數據傳輸任務的運行狀態進行監控，用戶可以快速掌握各個任務及節點的數據讀取統計、數據寫入統計、延遲統計等方面進行數據運行監控統計。 - 充分設計的安全保障
用戶數據安全優先的架構設計，用戶信息、任務信息全程加密的安全措施，充分保障用戶的信息安全和數據安全。