線上並發事務死鎖問題排查
並發事務死鎖問題排查 業務系統上線后，服務日志報錯: 上游業務系統監聽多個topic，但不同topic有交集，交集為共同更新我們系統的某一張表。服務雖然一直在報錯，但是數據並沒有出現重復及丟失的情況。針對這個問題現象進行排查。 1 排查思路： 1.1 首先調研下mysql InnoDB ...
原文：線上Redis高並發連接失敗問題排查
項目背景 最近，做一個按優先級和時間先后排隊的需求。用 Redis 的 sorted set 做排隊隊列。 主要使用的 Redis 命令有， zadd, zcount, zscore, zrange 等。 測試完畢后，發到線上，發現有大量接口請求返回超時熔斷 超時時間為 s 。 Error日志打印的異常堆棧為： redis.clients.jedis.exceptions.JedisConnect ...
2020-09-28 17:02 2 3225 推薦指數：
相關推薦
線上Redis偶發性鏈接失敗排查記
問題過程 輸入法業務於12月12日上線了詞庫接受業務，對部分用戶根據用戶uuid判斷進行回傳，在12月17日早上8點多開始出現大量的php報錯（Redis went away），報錯導致了大量的鏈接積累，瞬間服務器的80端口堆積到了2w多導致了接受計費日志的接口全部返回超時，丟失了1小時的結費 ...
redis連接超時問題排查
連接池無法獲取到連接或獲取連接超時redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool對於這類問題的原因有幾類，可以根據以下一一進行排查 連接配置錯誤 ...
【Redis連接超時】記錄線上RedisConnectionFailureException異常排查過程
項目架構： 部分組件如下： SpringCloudAlibaba(Nacos+Gateway+OpenFeign）+SpringBoot2.x+Redis 問題背景: 最近由於用戶量增大，在高峰時期，會導致用戶服務偶爾Redis出現連接超時的情況， 例如：從Redis中 ...
一次線上CPU高的問題排查實踐
一次線上CPU高的問題排查實踐 前言 近期某一天上班一開電腦，就收到了運維警報，有兩台服務CPU負載很高，同時收到一線同事反饋 系統訪問速度非常慢，幾乎無響應。 一個美好的早晨，最怕什么就來什么。只好推掉其他會議，專心搞定問題。 排查 登錄系統一看，后端的接口訪問果然全部超時 ...
線上死鎖問題排查
問題描述： 線上一個服務的突然掛了，無法被調用，查看該服務日志發現Dubbo的線程池全滿了： 沒有多少訪問量，但是線程卻猛增，猜測可能是哪里出現了死循環或者哪里發生了死鎖。 首先，檢測一下服務器的CPU使用量，發現在正常范圍內，基本上可以排除哪里出現了死循環。 先找出該服務的進程 ...
Arthas線上問題排查
的 Exception？ 我改的代碼為什么沒有執行到？難道是我沒 commit？分支搞錯了？ 遇到問題無法在 ...
JVM線上問題排查
前言 本文介紹服務器內運行的 Java 應用產生的 OOM 問題 和 CPU 100% 的問題定位 1. 內存 OOM 問題定位 某Java服務(比如進程id pid 為 3320)出現OOM，常見的原因為： 內存分配的確實小了，而正常業務使用了大量的內存 某個對象被頻繁申請 ...