FileBeats配置應用詳解


一、FileBeats特點

1.讀取日志文件,但不做數據的解析處理

2.保證數據“At Least Once” 至少被讀取一次,即數據不會丟失,某些情況下會重復消費

3.其他能力:處理多行數據,解析Json數據,簡單的過濾功能

二、配置文件大致結構

6版本之前的OutPut可以有多個,之后的處於性能考慮只能有一個

三、常見輸入類型配置介紹

1.標准輸入

語法格式:

filebeat.inputs:
  - type: stdin
...

常用可接的配置選項:

encoding  指定編碼方式

exclude_lines 忽略正則規則匹配到的行,exclude_lines: ['^DBG']表示 忽略 DBG  開始的行,無默認值,但是空行會被忽略

include_lines 與上述規則相反,當和上述選項一起出現時,該選項優先級高,無關配置文件中的順序

max_bytese 處於單條數據的最大字節數,超過的將被丟棄,默認10MB

2.log輸入

語法格式

filebeat.inputs:
- type: log
  paths:
    - /var/log/messages
    - /var/log/*.log
常用可接的配置選項:(有些與上述相同的就不列舉了)
paths 指定的文件,可用通配符,每個路徑一行且以- 開頭
recursive_glob.enabled 啟用遞歸通配 例如  /foo/** 可以是 /foo, /foo/*, /foo/*/*等,默認啟用
exclude_files 忽略的文件

四、常見輸出類型配置介紹

1.標准輸出

語法格式

output.console:
  pretty: true
常用可接的配置選項:
pretty 將輸出的json美化
codec 默認輸出json格式,可以自定改變

其他輸出后續更新




 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM