事故經過:網站突然無法正常使用,php子進程驟高,詢問開發無改動代碼,查看cpu,內存均無異常,最后查看磁盤使用率100%,然后通過top查看是php進程導致,就一直在查找代碼問題,均無收獲,最后實在沒轍了,老大說刪除下日志試試吧,刪完后網站恢復正常。突然想到一個東西inode,當時由於沒有常看inode使用量,猜測是因為inode導致。一個月后看下inode增長量吧!
經歷的誤區:通過iostat查看IO使用率為100%,查看阿里雲監控磁盤讀寫每秒一百兆,通過iotop查看是php進程導致的,所以一直在找代碼問題!
工作這么長時間最坑人的坑