一次頻繁Full GC問題排查過程分享
問題描述 應用收到頻繁Full GC告警 問題排查 登錄到對應機器上去，查看GC日志，發現YGC一分鍾已經達到了15次，比Full GC還要頻繁一些，其中Full GC平均10分鍾超過了4次，如下圖 使用jstat -gcutil 5280 1000查看實時GC情況 ...
原文：Kafka 異步消息也會阻塞？記一次 Dubbo 頻繁超時排查過程
線上某服務 A 調用服務 B 接口完成一次交易，一次晚上的生產變更之后，系統監控發現服務 B 接口頻繁超時，后續甚至返回線程池耗盡錯誤 Thread pool is EXHAUSTED。因為服務 B 依賴外部接口，剛開始誤以為外部接口延時導致，所以臨時增加服務 B dubbo 線程池線程數量。配置變更之后，重啟服務，服務恢復正常。一段時間之后，服務 B 再次返回線程池耗盡錯誤。這次深入排查問題之 ...
2019-10-08 20:32 6 2697 推薦指數：
相關推薦
記一次redis讀取超時的排查過程（SADD惹的禍）
問題背景 在業務使用redis過程中，出現了read timeout 的異常。 問題排查 直接原因 運維查詢redis慢查詢日志，發現在異常時間節點，有redis慢查詢日志，執行sadd 命令花費了1秒鍾。但由於redis是單線程應用，執行單條命令的阻塞，會造成其他命令的排隊等候，導致 ...
一次線上接口超時的排查過程
1、事件還原 昨天下午，收到一個504的告警，顯然這是一個超時告警。當時由於手頭有其他事情，沒在意，就只是瞄了一眼，但是引起告警的方法很熟悉，是我寫的，第一反應有點詫異。 詫異之后，繼續處理手頭的工作。 一小時過后，又收到同樣的告警，顯然不是偶爾，肯定是哪兒出問題了，於是開始排查。 報警 ...
記一次mq無法正常生產消息的事故排查過程
早上上班后得知，服務費未同步到代理商系統。查看draft_server系統生產環境的log，顯示在往RabbitMQ推數據時出現異常：no route to host。 打 ...
記錄一次http網絡超時的排查過程
微信公眾號：內核小王子 覺得可以的話歡迎關注 場景：公司對外網關對很多外部商戶開放，運行多年一直正常，昨天某一個客戶調用我們接口的時候頻繁報connectiontimeout，異常如下： 該異常來自於httpclient，原因是創建連接超時，也就是tcp進行三次握手的時候失敗 ...
MySQL-記一次備份失敗的排查過程
山竹來臨，窩在家里整理個人文檔。 本篇文章主要講解排查問題的思路，涉及linux 刪除文件的原理、實例誤刪數據恢復、MySQL實例初始化參數優先級別等，雖然涉及知識點比較淺，但是個人覺得挺有 ...
記一次慢sql問題排查過程
背景說明 組織架構被拆分為多個微服務 需求： 一個輸入框 查詢 前后模糊查詢 人員信息（工號、姓名），前后模糊查詢 單位名稱。 跨庫平級查詢！！ ...
記一次OOM問題排查過程
上周運維反饋線上程序出現了OOM，程序日志中的輸出為 看線程名稱應該是tomcat的nio工作線程，線程在處理程序的時候因為無法在堆中分配更多內存出現了OOM，幸好JVM啟動參數配置了-XX:+ ...