根據日志來源的不同生成不同的index索引


使用filebeat收集系統日志,不同應用的日志,然后把這些日志傳輸給Logstash,再然后交由elasticsearch處理,那么如何區分不同的日志來源呢?

  1. filebeat.yml配置文件中不啟動模塊,全部使用如下方式輸出日志
filebeat.inputs:

- type: log
  enabled: true
  paths:
    - /var/log/logstash/logstash-plain.log
  
  fields:
    log_source: logstash
  fields_under_root: true

  multiline.pattern: ^\d{4}-\d{1,2}-\d{1,2}
  multiline.negate: true
  multiline.match: after

  scan_frequency: 5s
  close_inactive: 1h  
  ignore_older: 24h

2.logstash目錄下conf.d/*.conf配置文件依據log_source的值不同,生成不同的index索引
具體參數還可以增加,過濾條件還可以設置

output {

  if [log_source] == "logstash" {
    elasticsearch {
      hosts => ["http://localhost:9200"]
      index => "logstash-%{+YYYY.MM.dd}"
      #user => "elastic"
      #password => "changeme"
    }
  }
}


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM