Kafka 異步消息也會阻塞？記一次 Dubbo 頻繁超時排查過程
線上某服務 A 調用服務 B 接口完成一次交易，一次晚上的生產變更之后，系統監控發現服務 B 接口頻繁超時，后續甚至返回線程池耗盡錯誤 Thread pool is EXHAUSTED。因為服務 B 依賴外部接口，剛開始誤以為外部接口延時導致，所以臨時增加服務 B dubbo 線程池線程數量 ...
原文：記一次redis讀取超時的排查過程（SADD惹的禍）
問題背景 在業務使用redis過程中，出現了read timeout 的異常。 問題排查 直接原因 運維查詢redis慢查詢日志，發現在異常時間節點，有redis慢查詢日志，執行sadd 命令花費了 秒鍾。但由於redis是單線程應用，執行單條命令的阻塞，會造成其他命令的排隊等候，導致read timeout。 深入排查 為什么sadd這么慢呢 為什么sadd這么慢呢 查閱redis文檔看到，sa ...
2019-07-02 17:03 0 890 推薦指數：
相關推薦
一次線上接口超時的排查過程
1、事件還原 昨天下午，收到一個504的告警，顯然這是一個超時告警。當時由於手頭有其他事情，沒在意，就只是瞄了一眼，但是引起告警的方法很熟悉，是我寫的，第一反應有點詫異。 詫異之后，繼續處理手頭的工作。 一小時過后，又收到同樣的告警，顯然不是偶爾，肯定是哪兒出問題了，於是開始排查。 報警 ...
記錄一次http網絡超時的排查過程
微信公眾號：內核小王子 覺得可以的話歡迎關注 場景：公司對外網關對很多外部商戶開放，運行多年一直正常，昨天某一個客戶調用我們接口的時候頻繁報connectiontimeout，異常如下： 該異常來自於httpclient，原因是創建連接超時，也就是tcp進行三次握手的時候失敗 ...
MySQL-記一次備份失敗的排查過程
山竹來臨，窩在家里整理個人文檔。 本篇文章主要講解排查問題的思路，涉及linux 刪除文件的原理、實例誤刪數據恢復、MySQL實例初始化參數優先級別等，雖然涉及知識點比較淺，但是個人覺得挺有 ...
記一次慢sql問題排查過程
背景說明 組織架構被拆分為多個微服務 需求： 一個輸入框 查詢 前后模糊查詢 人員信息（工號、姓名），前后模糊查詢 單位名稱。 跨庫平級查詢！！ ...
記一次OOM問題排查過程
上周運維反饋線上程序出現了OOM，程序日志中的輸出為 看線程名稱應該是tomcat的nio工作線程，線程在處理程序的時候因為無法在堆中分配更多內存出現了OOM，幸好JVM啟動參數配置了-XX:+ ...
記一次Xmrig挖礦木馬排查過程
問題現象 Linux 服務器收到報警信息，主機 CPU 跑滿。 自動創建運行 Docker 容器 xmrig， 導致其他運行中容器被迫停止。 問題原因 通過 top 命令可以看到有一個 ...
記一次線上內存泄漏問題的排查過程
近期需要對公司的接口做線上的巡查監控，需要寫一個腳本放到服務器上，定時運行腳本監測線上接口是否正常。測試的接口不是HTTP協議，而是公司基於TCP協議開發的私有協議，因此不能直接用現成的一些接口測試工 ...