以前在測試streamsets 的時候就發現中文亂碼，后邊也每太注意，以為支持問題，今天跑了下單元 測試代碼，以及使用本機運行，發現都沒有問題，然后運行以前的配置，使用jjs 發現模式的編碼為 ANSI_X3.4-1968 原有環境准備 ...

://streamsets.com/documentation/datacollector/latest/ ...

streamsets 團隊為了方便進行sdc以及sdh 的測試基於streamsets python sdk 開發了 streamsets Test Framework 安裝 注意python 3.7 有問題，建議3.6 可以通過pyenv 安裝需要的python 版本 ...

streamsets 支持branch（分支）&& merge（合並）模式的數據流 branch 數據流 如下圖： 我們可以根據數據包含的字段進行拆分，不同的數據流處理自己關注的數據 merge 合並數據流 如下圖： 可以將多個數據流，發送到同一個stage（階段 ...

依賴構建工具 git 1.9+ ...

origin 是streamsets pipeline的soure 入口，只能應用一個origin 在pipeline中， 對於運行在不同執行模式的pipeline 可以應用不同的origin 獨立模式 集群模式 edge模式（agent） 開發模式（方便測試 ...

測試集成了directory（excel） 以及redis && field splitter 組件 pipeline flow docker-compose 配置 redis 服務&& streamsets directory ...

Data Collector Edge 是不包含界面的agent 安裝 下載包 使用docker docker-compose ...

benthos 是一個stream 處理框架，streamsets 也是，但是兩者可以通過不同的工具進行集成起來 一般我們可以使用http 服務，消息中間件（kafka、rabbitmq 。。。） 使用docker-compose 運行 服務配置 ...

streamsets 包含了豐富的組件，origin processer destination 測試例子為集成了http client 以及json 處理 啟動服務 使用docker 創建pipeline 添加http client 組件 配置 ...