logstash 同时执行多个conf任务（Multiple Pipelines 多管道）

任务主要实现使用logstash同时抽取多表数据到对应es索引

错误案例:

logstash 同时启动 多个conf，conf 是本人新建的目录 .conf文件都在该目录下　

./bin/logstash -f conf

结果:

logstash 启动多个conf 默认会合并成一个 pipelines ,导致数据混乱，没有抽取到对应的索引中

 

正确案例:

使用 Multiple Pipelines ， logstash6及其以上版本才有该功能，logstash5及其以下只能启动多个logstash实例

在 logstash中的pipelines.yml 文件中新加以下内容

路径:  logstash-7.6.2/config/pipelines.yml

- pipeline.id: logstash2019.conf
  pipeline.workers: 1
  path.config: "/opt/app/logstash-7.6.2/conf/logstash2019.conf"

#唯一id(标识用的)
- pipeline.id: logstash2020.conf
#开启线程数量
  pipeline.workers: 1
#指定对应conf文件
  path.config: "/opt/app/logstash-7.6.2/conf/logstash2020.conf"

注:  - 符号一定要顶格写

 

启动

./bin/logstash

注:配置pipelines.yml 文件后，无需再指定conf，直接启动即可

　

参考资料:

https://www.elastic.co/guide/en/logstash/7.6/multiple-pipelines.html

https://www.elastic.co/guide/en/logstash/7.6/logstash-settings-file.html