Azure Data Factory 系列博客:
- ADF 第一篇:Azure Data Factory介紹
- ADF 第二篇:使用UI創建數據工廠
- ADF 第三篇:Integration runtime和 Linked Service
- ADF 第四篇:管道的執行和觸發器
- ADF 第五篇:轉換數據
- ADF 第六篇:Copy Data Activity詳解
- ADF 第七篇:控制流概述
- ADF 第八篇:傳遞參數(Pipeline的Parameter和Variable,Activity的output)和應用表達式
Integration runtime(IR) 是Azure 數據工廠在不同的網絡環境中進行數據集成的組件,用於幾個環境中:
- Data Flow:在托管的Azure計算環境中執行Data Flow
- Data movement:把存儲在公用網絡(public network)和私有網絡(on-premises或private network)之間復制數據
- Activity dispatch:調度(dispatch)和監視在各種計算服務(例如 Azure Databricks、azure HDInsight、Azure 機器學習、Azure SQL 數據庫、SQL Server 等)上運行的轉換活動。
- SSIS package execution:在托管的 Azure 計算環境中本機執行 SQL Server 集成服務 (SSIS) 包
在數據工廠中,活動(Activity)定義要執行的動作,Linked service 定義目標數據存儲,或計算服務。集成運行時(Integration runtime)提供了活動(Activity)和Linked Services之間的橋梁,它被鏈接服務或活動引用,提供一個計算環境,用於運行Activity,或者分派Activity,這使得ADF可以在滿足安全性和合規性需求的同時,以最高效的方式在最接近目標數據存儲或計算服務的區域中執行活動。
一,IR的類型
數據工廠提供了三種類型的IR,每種類型的IR 適用的網絡環境如下表所示:
Azure IR的作用:
- 可以在Azure上執行Data Flow
- 在cloud 數據存儲之間執行Copy Activity
- 在public network上分派轉換活動(Transform Activity)
Self-hosted IR的作用:
- 在雲數據存儲和私有網絡存儲之間執行Copy Activity
- 對本地(on-premises)或Azure虛擬網絡種的計算資源執行轉換活動(Transform Activity)
如果想在私有網絡環境中執行數據集成,那么可以在on-premises環境(私有網絡環境)中安裝Self-hosted IR。
Azure-SSIS IR:
用於執行SSIS packages,通過把Azure-SSIS IR加入到on-premises的網絡中,數據工廠可以用於本地數據訪問(on-premises data access)。
二,創建Self-Hosted IR
通過Azure Data Factory UI來創建,
選擇Self-Hosted 類型,選擇手動設置(Manual setup),
點擊“Download and install integration runtime”,下載安裝包,並復制 authentication key,黏貼到"Register Integration Runtime (Self-hosted)" 頁面中:
點擊頁面底部的“Register” 按鈕完成Self-Hosted IR的注冊。
三,Linked Service
連接服務(Linked services )類似於連接字符串,用於定義ADF連接到外部資源時所需要的連接信息,連接服務定義如何連接到外部數據源,而數據集代表外部源數據的結構。
而Linked Services 依賴於Integration runtimes,因此,我們在創建Linked Service之前,需要創建Integration runtimes。
參考文檔: