記一次dubbo服務丟失的問題排查
主要環境與用到的（關鍵）組件： 首先是服務報錯： 很多使用過dubbo的同學對這個報錯信息應該都不陌生，一般情況下，如果沒有配置好生產端、消費端或者注冊中心，啟動的時候就會報這個錯。但這里的情況是，消費端和生產端都已經正常運行了一段時間了，大概10天左右，突然報 ...
原文：記一次線上dubbo服務超時和線程池滿問題排查
線上某dubbo服務A調用dubbo服務B的接口X方法，調用端A日志中出現了很多超時的情況，提供端B該接口X超時時間設置為 s 查看提供端B的日志，報了很多線程池滿的異常： 服務B部署了 個節點，僅 個節點有線程池滿情況 服務B的dubbo配置如下，線程池固定 個線程： 通過ps aux grep 服務B的jmx端口號，查到進程pid 通過jstack pid gt jstatck.log dum ...
2018-09-19 22:46 0 2901 推薦指數：
相關推薦
記一次生產dubbo線程池耗盡的問題
問題： dubbo線程池耗盡，活躍線程數超過線程池最大線程數（dubbo默認線程池最大線程數為200） 登錄服務提供者所在服務器 通過命令行連接dubbo： 查看dubbo活躍線程： 可以通過增加線程池最大線程數來解決 ...
記一次線上SpringCloud-Feign請求服務超時異常排查
由於近期線上單量暴漲，第三方反饋部分工單業務存在查詢處理失敗現象，經排查是當前系統通過FeignClient調用下游系統出現部分超時失敗（異常代碼貼在下方）。 通過系統慢請求捕捉攔截，發現當前請求僅耗時1031毫秒，就觸發Read timed out超時錯誤，本項 ...
記一次線上報錯日志問題排查
今天陽光明媚，掐指一算，今天比較適合划水。 於是早上到公司之后先是蹲了廁所，然后就准備翻閱公眾號推文。 看的正嗨，突然釘釘群里開始響了， 生產日志群報了一條警告，如下： 報錯信息很明確 ...
記一次線上內存泄漏問題的排查過程
近期需要對公司的接口做線上的巡查監控，需要寫一個腳本放到服務器上，定時運行腳本監測線上接口是否正常。測試的接口不是HTTP協議，而是公司基於TCP協議開發的私有協議，因此不能直接用現成的一些接口測試工具，需要自己寫代碼來調用接口。由於是私有協議，為了方便各業務項目進行通信，開發部門統一提供了一個 ...
記一次線上崩潰問題的排查過程
，如下： 問題分析 馬上登錄線上服務器，gdb調試堆棧信息。 堆棧信息如下： #0 0x000000 ...
記一次線上websocket返回400問題排查
現象 生產環境websocket無法正常連接，服務端返回400 bad request，開發及測試環境均正常。 抓包排查 src：nginx服務器 172.16.177.193dst：imp應用服務器 172.16.177.218 問題定位 ...
Kafka 異步消息也會阻塞？記一次 Dubbo 頻繁超時排查過程
線上某服務 A 調用服務 B 接口完成一次交易，一次晚上的生產變更之后，系統監控發現服務 B 接口頻繁超時，后續甚至返回線程池耗盡錯誤 Thread pool is EXHAUSTED。因為服務 B 依賴外部接口，剛開始誤以為外部接口延時導致，所以臨時增加服務 B dubbo 線程池線程數量 ...