最近部署filebeat采集日志。
發現配置multiline后,日志偶爾會丟失數據,而且采集到的數據長度都不相同,所以和日志長度沒有關系。
查閱filebeat官網后,找到了問題。filebeat有個配置max_lines,默認值為500。查看了我們的日志文件,發現需要合並的日志行數超過了500行。
max_lines The maximum number of lines that can be combined into one event.
If the multiline message contains more than max_lines, any additional lines are discarded. The default is 500.
增加該配置后,解決multiline丟失數據問題。
multiline.max_lines: 10000