ELK+Filebeat 實踐 Error : read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout


問題描述:

這是一個i/o time 的問題,一般考慮就是磁盤滿的問題。以下是我遇到的具體問題:

1、Kibana頁面刷新,沒有新數據出來,再次刷新或者點擊頁面上其他地方,kibana就變成這樣了:

     這讓我就猜測存儲空間滿了。

2、看filebeat的log ,發現全是  read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout 這樣的log;

3、等到elk服務器上,想修改配置,發現修改不了,並報錯 "Write Error!(File System full?)"

這個時候確認磁盤滿了。

df -h 發現

進到目錄里:

原因:

主要是docker的device mapper存儲機制,它會把你所有的容器存儲到一個 100G 的簡短文件中,並且限制每個容器最大為 10GB 。因此這里發現docker里面/dev/mapper/docker-* 存儲已經10G滿了

解決方案:

清空兩個大文件,即 logstash-plain.log 和 logstash.stdout 。

方法:

輸入命令: # > logstash-plain.log


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM