前言 很多時候數據庫的TempDB、日志等文件的暴增可能導致磁盤空間被占滿,如果日常配置不到位,往往會導致數據庫故障,業務被迫中斷。 這種文件暴增很難排查,經驗不足的一些運維人員可能更是無法排查具體原因,導致問題不能徹底解決。 場景描述 客戶系統比較穩定,用了5台機器做了 ...
周六生產服務器出現redis服務器不可用狀態,錯誤信息為: 狀態不可用,等待后台檢查程序恢復方可使用。Unexpected end of stream expected type Status 如下圖所示,下圖 就是我們redis服務器運行的端口。 頭一次碰到此類問題,心想難道是redis掛掉了,隨即通過telnet ip 端口。發現運行正常,然后就想着進入redis看下目前連接情況。一看發現竟然 ...
2020-06-07 19:37 0 1240 推薦指數:
前言 很多時候數據庫的TempDB、日志等文件的暴增可能導致磁盤空間被占滿,如果日常配置不到位,往往會導致數據庫故障,業務被迫中斷。 這種文件暴增很難排查,經驗不足的一些運維人員可能更是無法排查具體原因,導致問題不能徹底解決。 場景描述 客戶系統比較穩定,用了5台機器做了 ...
最近測試環境的redis經常性發生某些key丟失的問題,最終的找到的問題讓人大吃一驚。 復盤一下步驟: 1、發現問題 不知道從某天開始,后台經常報錯,原因是某些key丟失,一開始不在意,以為是小bug,后來越來越頻繁。 2、檢查代碼 看看是不是有誤刪除的情況,這些key的訪問范圍很小,壓根沒有刪除 ...
一次正常的上線,發了幾台docker后,卻發現有的機器打了info.log里面有日志,有的沒有。排查問題開始: 第一:確認這台docker是否有流量進來,確認有流量進來。 第二:確認這台docker磁盤是否慢了,磁盤沒有滿。 第三:確認這台docker日志級別,確認 ...
日志集中式監控平台上線已經有一段時間,但是大部分情況下只是作為發布或者出問題時查看日志的便利工具使用。平時大家都不怎么主動上去看看。於是前幾天把應用的錯誤日志也加上郵件、Hi和短信報警,馬上就收到很多錯誤報警,引起了大家的重視。其中有一個Redis報錯: 看起來挺嚴重的,拿不到Redis連接 ...
歡迎大家前往騰訊雲社區,獲取更多騰訊海量技術實踐干貨哦~ 前言 “在一次正常的活動促銷之后,客服開始陸續反饋有用戶反應在搶標的時候打不開網頁或者 APP,在打開的時候標的就已經被搶光了。 剛開始沒有特別的上心,覺得搶標不就是這樣嗎,搶小米手機的時候不也是 ...
背景 將log4j.xml的日志級別從error調整為info后,進行壓測發現CPU占用很高達到了90%多(之前也就是50%,60%的樣子). 問題排查 排查思路: 看進程中的線程到底執行的是什么,導致CPU占用較高. 1. 使用top命令查看到底是哪個應用 ...
? 通過查閱資料,發現了一篇比較好的文章:一次NoHttpResponseException問題分析解決。 ...