目前在大規模日志處理平台中常見的日志采集器可以采用Logstash或Flume。這兩種日志采集器架構設計理念基本相似,都采用采集-過濾處理-輸出的方式。下面對這兩種采集器Syslog接收性能做個簡單測試,供大家參考。
- 測試過程
基本測試過程是使用2台機器,1台負責發送Syslog數據包,一台采集器。
在采集器上分別安裝ELK套件和Apache Flume 1.8.0軟件。
Logstash采集配置如下:
input {
udp {
host => "0.0.0.0"
port => "514"
type => "syslog"
codec => plain { charset => "UTF-8" }
}
}
output {
elasticsearch {
hosts => ["10.0.190.109:9200"]
document_type => "syslog"
}
}
Flume-NG采集配置如下:
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = syslogudp
a1.sources.r1.port = 5140
a1.sources.r1.host = 10.0.190.109
a1.sources.r1.channels = c1
# Describe the sink
a1.sinks.k1.type = file_roll
a1.sinks.k1.channel = c1
a1.sinks.k1.sink.directory = /opt/flumelog
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
重點來了,從測試機連續發送Syslog數據包,連續發送1000次,多次驗證測試結果可以發現:
ELK中可以基本接收到1000條。
Flume可以接收到並寫入本地文件200到350條之間。上述兩者差別主要在於Logstash接收並寫入ES中,Flume接收並寫入本地文件(寫入ES太麻煩,Flume的ES Sink模塊不兼容最新的ES版本)。
但是把配置中a1.sources.r1.type = syslogudp改成a1.sources.r1.type = syslogtcp,在測試機發送tcp格式的syslog數據包基本可以收到1000條。
以上只是個小小的測試,供大家參考。