streamsets 數據流設計


streamsets 支持branch(分支)&& merge(合並)模式的數據流

branch 數據流

如下圖:
我們可以根據數據包含的字段進行拆分,不同的數據流處理自己關注的數據

merge 合並數據流

如下圖:
可以將多個數據流,發送到同一個stage(階段),但是不是進行數據的合並,數據的處理需要其他的組件(stage)處理,注意,pipeline
的校驗,不進行重復數據的處理,這個需要自己進行處理邏輯的配置,同時event stream 是無法進行合並的,具體可以參考
Dataflow Triggers Overview

參考資料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Pipeline_Design/DesigningDataFlow.html#concept_ad4_gpy_bt


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM