問題描述:
這是一個i/o time 的問題,一般考慮就是磁盤滿的問題。以下是我遇到的具體問題:
1、Kibana頁面刷新,沒有新數據出來,再次刷新或者點擊頁面上其他地方,kibana就變成這樣了:
這讓我就猜測存儲空間滿了。
2、看filebeat的log ,發現全是 read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout 這樣的log;
3、等到elk服務器上,想修改配置,發現修改不了,並報錯 "Write Error!(File System full?)"
這個時候確認磁盤滿了。
df -h 發現
進到目錄里:
原因:
主要是docker的device mapper存儲機制,它會把你所有的容器存儲到一個 100G 的簡短文件中,並且限制每個容器最大為 10GB 。因此這里發現docker里面/dev/mapper/docker-* 存儲已經10G滿了
解決方案:
清空兩個大文件,即 logstash-plain.log 和 logstash.stdout 。
方法:
輸入命令: # > logstash-plain.log