日志集中式監控平台上線已經有一段時間,但是大部分情況下只是作為發布或者出問題時查看日志的便利工具使用。平時大家都不怎么主動上去看看。於是前幾天把應用的錯誤日志也加上郵件、Hi和短信報警,馬上就收到很多錯誤報警,引起了大家的重視。其中有一個Redis報錯: 看起來挺嚴重的,拿不到Redis連接 ...
日志集中式監控平台上線已經有一段時間,但是大部分情況下只是作為發布或者出問題時查看日志的便利工具使用。平時大家都不怎么主動上去看看。於是前幾天把應用的錯誤日志也加上郵件 Hi和短信報警,馬上就收到很多錯誤報警,引起了大家的重視。其中有一個Redis報錯: 看起來挺嚴重的,拿不到Redis連接,而且是在 validate的時候報的錯: 我們使用的是Jedis,在validate的時候默認是發送一個P ...
2020-05-14 18:19 0 2876 推薦指數:
日志集中式監控平台上線已經有一段時間,但是大部分情況下只是作為發布或者出問題時查看日志的便利工具使用。平時大家都不怎么主動上去看看。於是前幾天把應用的錯誤日志也加上郵件、Hi和短信報警,馬上就收到很多錯誤報警,引起了大家的重視。其中有一個Redis報錯: 看起來挺嚴重的,拿不到Redis連接 ...
最近測試環境的redis經常性發生某些key丟失的問題,最終的找到的問題讓人大吃一驚。 復盤一下步驟: 1、發現問題 不知道從某天開始,后台經常報錯,原因是某些key丟失,一開始不在意,以為是小bug,后來越來越頻繁。 2、檢查代碼 看看是不是有誤刪除的情況,這些key的訪問范圍很小,壓根沒有刪除 ...
zabbix告警突然從某個時間點開始提示CPU使用高,網卡流量也一直居高不下。 首先查看redis日志,發現告警時間點redis主節點被重啟了,發生了主備切換,並且在日志中發現這么一段 [3081] 06 Dec 02:33:28.090 # Client addr=****:35810 ...
周六生產服務器出現redis服務器不可用狀態,錯誤信息為: 狀態不可用,等待后台檢查程序恢復方可使用。Unexpected end of stream; expected type 'Status' 如下圖所示,下圖6300就是我們redis服務器運行的端口。 頭一次碰到此類問題 ...
先簡單介紹一下chrony chrony是linux7開始使用的時間同步服務,系統內置。比ntp更加快捷,簡單 含有服務端和客戶端:服務名為 chronyd,客戶端工具chronyc 配置文件 /etc/chron.conf # Use public servers from ...
------------恢復內容開始------------ 步驟 1:每台redis服務器啟動之后,需要將這幾台redis關聯起來, 2: 關聯命令啟動之后 報錯: Node 192.168.184.133:8001 is not configured as a cluster node 之后 ...
現象 環境: Server version: 10.0.25-MariaDB-wsrep MariaDB Server, wsrep_25.13.raf7f02e 配置文件: ...
有一個新項目,在測試環境部署后,發現tomcat進程耗費的CPU非常高,排查過程如下: 日志搜集 先通過top,查找耗費CPU最高的線程 top -Hp pid 將線程ID轉為16進制 printf "%x\n" threadid 搜集JVM的棧日志 jstack pid > ...