1、事件還原 昨天下午，收到一個504的告警，顯然這是一個超時告警。當時由於手頭有其他事情，沒在意，就只是瞄了一眼，但是引起告警的方法很熟悉，是我寫的，第一反應有點詫異。 詫異之后，繼續處理手頭的工作。 一小時過后，又收到同樣的告警，顯然不是偶爾，肯定是哪兒出問題了，於是開始排查。 報警 ...

微信公眾號：內核小王子 覺得可以的話歡迎關注 場景：公司對外網關對很多外部商戶開放，運行多年一直正常，昨天某一個客戶調用我們接口的時候頻繁報connectiontimeout，異常如下： 該異常來自於httpclient，原因是創建連接超時，也就是tcp進行三次握手的時候失敗 ...

問題背景 在業務使用redis過程中，出現了read timeout 的異常。 問題排查 直接原因 運維查詢redis慢查詢日志，發現在異常時間節點，有redis慢查詢日志，執行sadd 命令花費了1秒鍾。但由於redis是單線程應用，執行單條命令的阻塞，會造成其他命令的排隊等候，導致 ...

線上某服務 A 調用服務 B 接口完成一次交易，一次晚上的生產變更之后，系統監控發現服務 B 接口頻繁超時，后續甚至返回線程池耗盡錯誤 Thread pool is EXHAUSTED。因為服務 B 依賴外部接口，剛開始誤以為外部接口延時導致，所以臨時增加服務 B dubbo 線程池線程數量 ...

解Bug之路-記一次中間件導致的慢SQL排查過程 前言 最近發現線上出現一個奇葩的問題，這問題讓筆者定位了好長時間，期間排查問題的過程還是挺有意思的，正好博客也好久不更新了，就以此為素材寫出了本篇文章。 Bug現場 我們的分庫分表中間件在經過一年的沉淀之后，已經到了比較穩定的階段。而且經 ...

山竹來臨，窩在家里整理個人文檔。 本篇文章主要講解排查問題的思路，涉及linux 刪除文件的原理、實 ...

背景說明 　 組織架構被拆分為多個微服務 需求： 一個輸入框 查詢 前后模糊查詢 人員信息（工號、姓名），前后模糊查詢 單位名稱。 跨庫平級查詢！！ ...

今天測試團隊反饋說，服務A的響應很慢，我在想，測試環境也會慢？於是我自己用postman請求了一下接口，真的很慢，竟然要2s左右，正常就50ms左右的。 於是去測試服務器看了一下，發現服務器負載很高，並且該服務A占了很高的cpu。先用top命令，看了load average，發現 ...