streamsets 支持branch(分支)&& merge(合並)模式的數據流
branch 數據流
如下圖:
我們可以根據數據包含的字段進行拆分,不同的數據流處理自己關注的數據
merge 合並數據流
如下圖:
可以將多個數據流,發送到同一個stage(階段),但是不是進行數據的合並,數據的處理需要其他的組件(stage)處理,注意,pipeline
的校驗,不進行重復數據的處理,這個需要自己進行處理邏輯的配置,同時event stream 是無法進行合並的,具體可以參考
Dataflow Triggers Overview