logstash 同時執行多個conf任務（Multiple Pipelines 多管道）

任務主要實現使用logstash同時抽取多表數據到對應es索引

錯誤案例:

logstash 同時啟動 多個conf，conf 是本人新建的目錄 .conf文件都在該目錄下　

./bin/logstash -f conf

結果:

logstash 啟動多個conf 默認會合並成一個 pipelines ,導致數據混亂，沒有抽取到對應的索引中

 

正確案例:

使用 Multiple Pipelines ， logstash6及其以上版本才有該功能，logstash5及其以下只能啟動多個logstash實例

在 logstash中的pipelines.yml 文件中新加以下內容

路徑:  logstash-7.6.2/config/pipelines.yml

- pipeline.id: logstash2019.conf
  pipeline.workers: 1
  path.config: "/opt/app/logstash-7.6.2/conf/logstash2019.conf"

#唯一id(標識用的)
- pipeline.id: logstash2020.conf
#開啟線程數量
  pipeline.workers: 1
#指定對應conf文件
  path.config: "/opt/app/logstash-7.6.2/conf/logstash2020.conf"

注:  - 符號一定要頂格寫

 

啟動

./bin/logstash

注:配置pipelines.yml 文件后，無需再指定conf，直接啟動即可

　

參考資料:

https://www.elastic.co/guide/en/logstash/7.6/multiple-pipelines.html

https://www.elastic.co/guide/en/logstash/7.6/logstash-settings-file.html