主要目的是進行跨pipeline 數據的通信,而不僅僅是內部pipeline 的通信,之間不同網絡進行通信
一個參考圖
pipeline 類型
- origin
- destination
部署架構
- 使用多個destination 保證可靠性,參考下圖
- 如果數據是相似的,可以實現負載均衡以及冗余,參考下圖
數據傳輸的保證
- 至少一次(保證數據可以被處理)
- 之多一次 (避免數據重復)
定義rpc id
id 是用戶定義的方便彼此之間可以進行識別的
加密
支持基於tls 的數據加密
配置指南
要創建一組有效的SDC RPC管道,必須遵守某些配置選項。使用以下准則配置SDC RPC管道:
-
origin
在origin管道中,配置以下元素:
在管道屬性中,將數據傳遞模型設置為您要使用的選項。
在管道中,使用SDC RPC目標。
配置SDC RPC目標時,請輸入RPC ID和RPC連接信息。
若要使用多個目標管道,請輸入要使用的每個SDC RPC源的RPC連接信息。
要使用加密在管道之間傳輸數據,請啟用TLS並配置相關屬性。 -
destination
對於每個destination管道,請配置以下元素:
在管道屬性中,將數據傳遞模型設置為與原始管道相同的選項。使用其他選項會導致Data Collector 默認為At Most Once行為。
在管道中,使用SDC RPC origin。
配置SDC RPC orign時,請按如下方式定義屬性:
使用SDC RPC destination 中使用的相同RPC ID。
對於RPC偵聽端口,請輸入相應的端口號。
它應該是SDC RPC destination中的一個RPC連接中指定的端口號。
要使用加密在管道之間傳輸數據,請啟用TLS並配置相關屬性。