DataWorks 功能實踐速覽


簡介: DataWorks功能實踐系列,幫助您解析業務實現過程中的痛點,提高業務功能使用效率!

功能推薦:獨享數據集成資源組

如上期數據同步解決方案介紹,數據集成的批數據同步任務運行時,需要占用一定的計算資源,這些資源即資源組,通常先從數據來源所在的機器抽取數據至資源組所在的機器,再推送至目標數據源所在的機器。

functionpractice2-1.png

而進行數據同步時,可以根據實際情況規划使用哪種數據集成資源組,資源組規划的關鍵點包括連通性性能兩方面。

以下就從數據集成資源組的類型與性能、網絡連通性兩方面,為您介紹數據集成資源組的詳情:

Part1:數據集成資源組的類型與性能對比

DataWorks數據集成支持多種不同資源組:

  • 獨享數據集成資源組:
    購買后可獨占使用的資源組。在任務高並發執行且無法錯峰運行,需要獨享的資源組來保障數據快速、穩定地傳輸時,您可以選擇獨享資源組。
  • 自定義數據集成資源組:
    如果您有富余的服務器資源,也可將此部分資源作為DataWorks中任務運行的資源組使用,DataWorks支持自定義資源組。

以上兩種數據集成資源組在應用上的能力對比如下表所示:

類別

獨享資源組

自定義資源組

機器資源歸屬

由DataWorks維護,是自己的租戶獨享使用的計算資源。

由您自己維護,是屬於您的IDC機器。

網絡

支持VPC、公網和任意網絡下的阿里雲產品。

支持VPC、公網和任意網絡下的阿里雲產品。

收費方式

根據機器的規格,包年包月計費。

DataWorks版本按月使用收費。

支持的數據源

全部數據源

全部數據源

安全性

根據您自身機器所處的環境決定

任務執行的效率

指任務是否能夠分到足夠的計算資源,能否以最高性能運行。

根據您自身機器所處的環境決定

可靠性

指任務是否能夠按時啟動。執行任務時,網絡資源是否被其它租戶占用,導致任務不能按時產出結果。

根據您自身機器所處的環境決定

適用場景

大量、重要的生產級別的任務。

使用自定義資源組的場景如下:

  • 如果您自身已有計算資源,可以對接阿里雲重復使用,無需重新購買。
  • 需要同步的數據源全部在IDC內。

推薦指數

★★★★★

非常建議您使用獨享數據集成資源組來運行數據集成任務獨享數據集成資源組的購買后,您需要完成網絡配置和工作空間綁定,后續即可選擇與數據源的網絡連通方案進行連通配置了。在此之前,獨享數據集成資源組的購買與基礎配置的操作詳情請參見新增和使用獨享數據集成資源組

Part2:數據集成資源組的網絡連通方案

進行數據同步時,需要根據數據庫所在網絡環境,通過對應的網絡解決方案,實現對應類型資源組與數據庫的網絡連通。連通方案概覽如下。

functionpractice2-2.png

以下為您重點介紹獨享數據集成資源組的網絡連通方案詳情,其他資源組類型的網絡連通方案可進入幫助中心查看。

場景1:數據源具備訪問公網的能力

如果數據源具備公網訪問能力的話,那么數據源與資源組之間可以直接通過公網互訪。

functionpractice2-3.jpeg

場景2:數據源在VPC網絡中,且VPC和DataWorks在同一個地域

如果數據源在VPC網絡中,且VPC和DataWorks在同一個地域,那可以將獨享數據集成資源組綁定數據源所在VPC。同時需要關注,資源組與DataWorks是否在同一個可用區中,如果不在同一個可用區中,還需要手動添加一下路由,保障資源組與數據源之間網絡是連通的。添加路由的操作詳情可參見添加路由

functionpractice2-4.jpeg

場景3:數據源在VPC網絡中,且VPC和DataWorks在不同的地域

如果數據源在VPC網絡中,且VPC和DataWorks在不同的地域中,那您需要為獨享數據集成資源組綁定一個VPC,然后通過高速通道、VPN或其他網絡連通產品連通資源組綁定的VPC與數據源所在的VPC。

常見的網絡連通產品包括:

  • 雲企業網使用場景示例,請參見雲企業網
  • 高速通道使用場景示例,請參見高速通道
  • VPN網關使用場景示例,請參見VPN網關

此外,您依舊需要手動添加一下路由,保障網絡連通性。添加路由的操作詳情可參見添加路由

functionpractice2-5.jpeg

場景4:數據源在IDC內

如果數據源在IDC內,與場景3:數據源在VPC中且與DataWorks不同地域的場景類似,您需要為獨享數據集成資源組綁定一個VPC,然后通過高速通道、VPN或其他網絡連通產品連通資源組綁定的VPC與數據源所在的VPC。

常見的網絡連通產品包括:

  • 雲企業網使用場景示例,請參見雲企業網
  • 高速通道使用場景示例,請參見高速通道
  • VPN網關使用場景示例,請參見VPN網關

此外,您依舊需要手動添加一下路由,保障網絡連通性。添加路由的操作詳情可參見添加路由

functionpractice2-6.jpeg

場景5:數據源在經典網絡

如果數據源在經典網絡內,則此場景下,不支持數據源與DataWorks資源組網絡連通,建議您將數據源遷移至VPC網絡中。

PS:阿里雲經典網絡已不推薦使用,建議您遷移數據源至VPC。

Part3:注意事項——白名單的影響

保障資源組與數據源之間網絡連通后,您還需保障資源組與數據源之間不會因為白名單的限制而無法進行數據訪問,例如,部分數據源設置白名單后會不允許白名單外的IP訪問,您需要將資源組的IP添加至數據源的白名單中。

使用不同類型的數據集成資源組時,需要添加到數據源白名單中的IP地址不一致,詳情可進入幫助中心查看,以下為您示例,使用獨享數據集成資源組時,需要獲取並添加到數據源白名單中的IP地址。

  • 交換機網段:

functionpractice2-7.png

  • 獨享資源組的EIP地址:

functionpractice2-8.png

原文鏈接
本文為阿里雲原創內容,未經允許不得轉載。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM