Filebeat的安裝和使用(Windows)


Filebeat是什么

1、Filebeat是什么?
Filebeat是用於轉發和集中日志數據的輕量級傳送工具。

Filebeat監視用戶指定的日志文件或位置,收集日志事件,並將日志數據轉發到Elasticsearch或Logstash進行索引。

2、Filebeat和Logstash的關系
Logstash是一個開源數據收集引擎,具有實時管道功能。Logstash可以動態地將來自不同數據源的數據統一起來,並將數據標准化到你所選擇的目的地。

因為Logstash是跑在JVM上的,資源消耗比較大,所以后來作者又用golang寫了一個功能較少但是資源消耗也小的輕量級的logstash-forwarder,其設計初衷是這樣的:logstash-forwarder搜集日志,匯總給Logstash,然后輸出到Elasticsearch,並由Kibana展現Web界面。后來,作者加入了elastic公司,其公司內部有一個專門的golang團隊,elastic公司干脆把logstash-forwarder的開發工作也合並到同一個golang團隊來搞,於是新的項目就叫filebeat。

filebeat是Beats中的一員,Beats在是一個輕量級日志采集器,其實Beats家族有6個成員,早期的ELK架構中使用Logstash收集、解析日志,但是Logstash對內存、cpu、io等資源消耗比較高。相比Logstash,Beats所占系統的CPU和內存幾乎可以忽略不計。
目前Beats包含六種工具:

  • Packetbeat:網絡數據(收集網絡流量數據)
  • Metricbeat:指標(收集系統、進程和文件系統級別的CPU和內存使用情況等數據)
  • Filebeat:日志文件(收集文件數據)
  • Winlogbeat:windows事件日志(收集Windows事件日志數據)
  • Auditbeat:審計數據(收集審計日志)
  • Heartbeat:運行時間監控(收集系統運行時的數據)

3、Filebeat的工作方式
Filebeat的工作方式如下:啟動Filebeat時,它將啟動一個或多個輸入,這些輸入將在為日志數據指定的位置中查找。對於Filebeat所找到的每個日志,Filebeat都會啟動收集器。每個收集器都讀取單個日志以獲取新內容,並將新日志數據發送到libbeat,libbeat將聚集事件,並將聚集的數據發送到為Filebeat配置的輸出。

 

安裝Filebeat

下載 filebeat 7.9.3,

Windows 安裝配置

 

 修改配置文件:filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

在這個例子中,獲取/var/log/*.log路徑下的所有文件作為輸入,這就意味着Filebeat將獲取/var/log目錄下所有以.log結尾的文件。

為了從預定義的子目錄級別下抓取所有文件,可以使用以下模式:/var/log/*/*.log。這將抓取/var/log的子文件夾下所有的以.log結尾的文件。它不會從/var/log文件夾本身抓取。目前,不可能遞歸地抓取這個目錄下的所有子目錄下的所有.log文件。

output.elasticsearch:
    hosts: ["127.0.0.1:9200"]

Windows 啟動Filebeat

cmd下運行

filebeat -c filebeat.yml -e

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM