原文:記一次Redis錯誤排查經歷(redis cluster 節點重啟后無限同步問題)

日志集中式監控平台上線已經有一段時間,但是大部分情況下只是作為發布或者出問題時查看日志的便利工具使用。平時大家都不怎么主動上去看看。於是前幾天把應用的錯誤日志也加上郵件 Hi和短信報警,馬上就收到很多錯誤報警,引起了大家的重視。其中有一個Redis報錯: 看起來挺嚴重的,拿不到Redis連接,而且是在 validate的時候報的錯: 我們使用的是Jedis,在validate的時候默認是發送一個P ...

2020-05-14 18:19 0 2876 推薦指數:

查看詳情

一次Redis錯誤排查經歷

日志集中式監控平台上線已經有一段時間,但是大部分情況下只是作為發布或者出問題時查看日志的便利工具使用。平時大家都不怎么主動上去看看。於是前幾天把應用的錯誤日志也加上郵件、Hi和短信報警,馬上就收到很多錯誤報警,引起了大家的重視。其中有一個Redis報錯: 看起來挺嚴重的,拿不到Redis連接 ...

Sat Mar 18 06:56:00 CST 2017 0 2790
一次redis key丟失的問題排查

最近測試環境的redis經常性發生某些key丟失的問題,最終的找到的問題讓人大吃一驚。 復盤一下步驟: 1、發現問題 不知道從某天開始,后台經常報錯,原因是某些key丟失,一開始不在意,以為是小bug,后來越來越頻繁。 2、檢查代碼 看看是不是有誤刪除的情況,這些key的訪問范圍很小,壓根沒有刪除 ...

Thu Apr 25 22:19:00 CST 2019 0 1424
一次redis主從同步失敗

zabbix告警突然從某個時間點開始提示CPU使用高,網卡流量也一直居高不下。 首先查看redis日志,發現告警時間點redis節點重啟了,發生了主備切換,並且在日志中發現這么一段 [3081] 06 Dec 02:33:28.090 # Client addr=****:35810 ...

Wed Dec 06 19:14:00 CST 2017 0 3235
一次Docker中Redis連接暴增的問題排查

周六生產服務器出現redis服務器不可用狀態,錯誤信息為: 狀態不可用,等待后台檢查程序恢復方可使用。Unexpected end of stream; expected type 'Status' 如下圖所示,下圖6300就是我們redis服務器運行的端口。 頭一次碰到此類問題 ...

Mon Jun 08 03:37:00 CST 2020 0 1240
一次chrony同步失敗問題排查

先簡單介紹一下chrony chrony是linux7開始使用的時間同步服務,系統內置。比ntp更加快捷,簡單 含有服務端和客戶端:服務名為 chronyd,客戶端工具chronyc 配置文件 /etc/chron.conf # Use public servers from ...

Wed Oct 09 23:06:00 CST 2019 0 2176
一次排查tomcat耗費CPU過高的經歷

有一個新項目,在測試環境部署,發現tomcat進程耗費的CPU非常高,排查過程如下: 日志搜集 先通過top,查找耗費CPU最高的線程 top -Hp pid 將線程ID轉為16進制 printf "%x\n" threadid 搜集JVM的棧日志 jstack pid > ...

Wed Jul 25 03:43:00 CST 2018 0 3741
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM