多個Filebeat輸入到Logstash設置不同的索引

需求

對每一台機器上都裝一個filebeat，然后都指向同一個logstash，這時不同的filebeat傳輸的數據過來，需要輸出到不同的索引，

 

 

辦法

在filebeat的配置文件里添加 fields.service: nginx（可自定義）

 

filebeat.prospectors:
- type: log  
  enabled: true

  paths:
    - /var/log/nginx-json/access.log

  input_type: log
  fields.document_type: nginx
  fields.service: nginx
  tags: ["nginx"]

filebeat.config.modules:
 
  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

output.logstash:
    hosts: ["10.0.0.5:5044"]

 

在Logstash的配置文件里： 添加 if [fields][service] == "nginx"{...}

 

output {
  if [fields][service] == "nginx"{
    elasticsearch {
       hosts => ["http://localhost:9200"]
       index => "h5-nginx-%{+YYYY.MM.dd}"
    }
  }
}