Filebeat占用內存和CPU過高問題排查


經反饋,新部署的服務器上filebeat占用的cpu過高,且內存只增不減。

而據我了解filebeat非常輕量級,正常情況下占用的資源幾乎都能忽略不計,所以懷疑是filebeat本身出了問題。

第一時間查看filebeat日志(默認路徑/var/log/filebeat/filebeat),發現有大量內容輸出:

 
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/broker/544 starting up
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/broker/544 state change to [open] on wp-news-filebeat/4
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/4 selected broker 544
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/broker/478 state change to [closing] because EOF
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 Closed connection to broker bitar1d12:9092
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/5 state change to [retrying-3]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/4 state change to [flushing-3]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/5 abandoning broker 478
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/2 state change to [retrying-2]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/2 abandoning broker 541
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/3 state change to [retrying-2]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/broker/478 shut down

看日志描述,似乎是一直地在不停的創建和關閉kafka連接。

起初懷疑是kafka相關dns沒有配置(/etc/resolve.conf)導致連不上kafka的broker,但檢查並和正常的機器對比后,dns配置是一樣的,也就排除了這種情況。

接下來懷疑可能是filebeat版本的問題,因為elastic家族的產品就是那個尿性,發版速度很頻繁,而且不同大版本有很多不兼容。

對比filebeat版本,發現它的版本(6.5.3)比正常的服務器(5.6.12)高一個大版本,所以懷疑不同版本對kafka的處理機制不一樣導致的。

為了驗證這個問題,在查閱filebeat官網后發現,6.5.x默認kafka的版本是1.0.0,而5.6.x默認的是0.8.2.0,而詢問運維得知kafka版本是0.10.2.2,所以問題基本確認。

根據官方文檔描述,在配置中指定了kafka版本:

output.kafka:
  version: 0.10.2.2
  ...

問題得以解決。

 

參考

https://www.elastic.co/guide/en/beats/filebeat/6.5/kafka-output.html#_literal_version_literal

https://www.elastic.co/guide/en/beats/filebeat/5.6/kafka-output.html#_version


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM