一、FileBeats特點
1.讀取日志文件,但不做數據的解析處理
2.保證數據“At Least Once” 至少被讀取一次,即數據不會丟失,某些情況下會重復消費
3.其他能力:處理多行數據,解析Json數據,簡單的過濾功能
二、配置文件大致結構
6版本之前的OutPut可以有多個,之后的處於性能考慮只能有一個
三、常見輸入類型配置介紹
1.標准輸入
語法格式:
filebeat.inputs: - type: stdin
...
常用可接的配置選項:
encoding 指定編碼方式
exclude_lines 忽略正則規則匹配到的行,exclude_lines: ['^DBG']表示 忽略 DBG 開始的行,無默認值,但是空行會被忽略
include_lines 與上述規則相反,當和上述選項一起出現時,該選項優先級高,無關配置文件中的順序
max_bytese 處於單條數據的最大字節數,超過的將被丟棄,默認10MB
2.log輸入
語法格式
filebeat.inputs: - type: log paths: - /var/log/messages - /var/log/*.log
常用可接的配置選項:(有些與上述相同的就不列舉了)
paths 指定的文件,可用通配符,每個路徑一行且以- 開頭
recursive_glob.enabled 啟用遞歸通配 例如 /foo/** 可以是 /foo, /foo/*, /foo/*/*等,默認啟用
exclude_files 忽略的文件
四、常見輸出類型配置介紹
1.標准輸出
語法格式
output.console: pretty: true
常用可接的配置選項:
pretty 將輸出的json美化
codec 默認輸出json格式,可以自定改變
其他輸出后續更新