Logstash配置文件介紹

Logstash配置文件介紹

 

Logstash配置文件有兩種，分別是pipeline配置文件和setting配置文件。

Pipeline配置文件主要定義logstash使用的插件以及每個插件的設置，定義完成后使用 -f 參數來指定該配置文件。

如以下定義的一個簡單的配置文件:

input { stdin { } }
output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

該配置文件使用兩個插件，分別是 input 和 output。然后使用啟動 logstash 時，使用 -f 參數來指定配置文件。

Pipeline配置文件結構:

input {
  ...
}

filter {
  ...
}

output {
  ...
}

Input:

Input支持多種輸入事件源，常用輸入源如下:

1、beats:

Logstash從beats組件中獲取數據

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

以上配置中，logstash在5044端口監聽從beats組件中傳來的數據源。beats組件在輸出給logstash中配置logstash的主機ip和5044端口。

2、elasticsearch:

Logstash從elasticsearch中獲取數據

input {
  elasticsearch {
    hosts => "localhost"
    query => '{ "query": { "match": { "statuscode": 200 } }, "sort": [ "_doc" ] }'
  }
}

以上配置中，從elasticsearch中查詢數據，然后作為數據源輸入到logstash。

3、file:

Logstash從文本文件中獲取數據

path => "/var/log/*"

直接在 path 中指定文本文件的位置，支持通配。

4、支持多種輸入源類型......