以前在测试streamsets 的时候就发现中文乱码，后边也每太注意，以为支持问题，今天跑了下单元 测试代码，以及使用本机运行，发现都没有问题，然后运行以前的配置，使用jjs 发现模式的编码为 ANSI_X3.4-1968 原有环境准备 ...

://streamsets.com/documentation/datacollector/latest/ ...

streamsets 团队为了方便进行sdc以及sdh 的测试基于streamsets python sdk 开发了 streamsets Test Framework 安装 注意python 3.7 有问题，建议3.6 可以通过pyenv 安装需要的python 版本 ...

streamsets 支持branch（分支）&& merge（合并）模式的数据流 branch 数据流 如下图： 我们可以根据数据包含的字段进行拆分，不同的数据流处理自己关注的数据 merge 合并数据流 如下图： 可以将多个数据流，发送到同一个stage（阶段 ...

依赖构建工具 git 1.9+ ...

origin 是streamsets pipeline的soure 入口，只能应用一个origin 在pipeline中， 对于运行在不同执行模式的pipeline 可以应用不同的origin 独立模式 集群模式 edge模式（agent） 开发模式（方便测试 ...

测试集成了directory（excel） 以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets directory ...

Data Collector Edge 是不包含界面的agent 安装 下载包 使用docker docker-compose ...

benthos 是一个stream 处理框架，streamsets 也是，但是两者可以通过不同的工具进行集成起来 一般我们可以使用http 服务，消息中间件（kafka、rabbitmq 。。。） 使用docker-compose 运行 服务配置 ...

streamsets 包含了丰富的组件，origin processer destination 测试例子为集成了http client 以及json 处理 启动服务 使用docker 创建pipeline 添加http client 组件 配置 ...