StreamSets SDC RPC Pipelines說明


主要目的是進行跨pipeline 數據的通信,而不僅僅是內部pipeline 的通信,之間不同網絡進行通信

一個參考圖

pipeline 類型

  • origin
  • destination

部署架構

  • 使用多個destination 保證可靠性,參考下圖
  • 如果數據是相似的,可以實現負載均衡以及冗余,參考下圖

數據傳輸的保證

  • 至少一次(保證數據可以被處理)
  • 之多一次 (避免數據重復)

定義rpc id

id 是用戶定義的方便彼此之間可以進行識別的

加密

支持基於tls 的數據加密

配置指南

要創建一組有效的SDC RPC管道,必須遵守某些配置選項。使用以下准則配置SDC RPC管道:

  • origin
    在origin管道中,配置以下元素:
    在管道屬性中,將數據傳遞模型設置為您要使用的選項。
    在管道中,使用SDC RPC目標。
    配置SDC RPC目標時,請輸入RPC ID和RPC連接信息。
    若要使用多個目標管道,請輸入要使用的每個SDC RPC源的RPC連接信息。
    要使用加密在管道之間傳輸數據,請啟用TLS並配置相關屬性。

  • destination
    對於每個destination管道,請配置以下元素:
    在管道屬性中,將數據傳遞模型設置為與原始管道相同的選項。使用其他選項會導致Data Collector 默認為At Most Once行為。
    在管道中,使用SDC RPC origin。
    配置SDC RPC orign時,請按如下方式定義屬性:
    使用SDC RPC destination 中使用的相同RPC ID。
    對於RPC偵聽端口,請輸入相應的端口號。
    它應該是SDC RPC destination中的一個RPC連接中指定的端口號。
    要使用加密在管道之間傳輸數據,請啟用TLS並配置相關屬性。

參考資料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/RPC_Pipelines/SDC_RPCpipelines_title.html#concept_wr1_ktz_bt


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM