記一次生產dubbo線程池耗盡的問題
問題： dubbo線程池耗盡，活躍線程數超過線程池最大線程數（dubbo默認線程池最大線程數為200） 登錄服務提供者所在服務器 通過命令行連接dubbo： 查看dubbo活躍線程： 可以通過增加線程池最大線程數來解決 ...
原文：記一次生產請求耗時的問題
最近發現lb上記錄的request time比upstream response time大的比較多，例如upstream response time記錄是 . ，request time記錄的就是 . 等等。整個耗時很反常。而且出現這個問題基本上都是一個返回值比較大的接口，基本上返回值是 K左右。領導讓定位一下這個問題。 先說下我們的架構的背景，是這樣的 阿里雲的SLB 我們自己的LB WEB ...
2019-03-30 08:34 3 1869 推薦指數：
相關推薦
復盤一次生產問題
有整整 10 天木有更文了，這段時間確實比較忙。 有加我微信的朋友知道我上周末出去春游了，部門組織去了趟外伶仃島，環境挺不錯的，這段時間去的人也比較少，值得去玩。 今天講講上周末一次生產問題的復盤。 1 事情經過 周日中午從外伶仃島回來就直奔公司，因為生產出了些問題。問題 ...
記一次生產環境presto刪表失敗的問題
場景，開發用java程序連接presto創建一個表，這個表在hdfs的權限為： 然后用presto去刪除這個表 報錯，沒有權限刪除，查看上一級目錄權限,發現權限正常 直連hive刪表 ...
【疑難雜症】記一次生產問題之事務超時
現象和猜測 我們每日日終跑批，跑批的第一步要去NFS文件系統檢查信貸還款文件的標志文件，即dbas.ok文件，以便做相關賬務處理，該代碼使用了while(true)，直到file.exist()返回 ...
記一次生產事故--磁盤被占滿
寫在前面 今天，跑在阿里雲ECS上的生產環境，突然間訪問異常，接口各種報錯，無奈公司沒有專業的運維人員，只能硬着頭皮解決一下。 問題排查 先從表面看起，數據庫首先報錯 直觀上看，設備沒有可用空間，也就是磁盤滿了。 進入服務器后台，執行 發現確實磁盤滿了，而且滿的很徹底。系統盤 ...
記一次生產線程數耗盡，導致內存溢出(outOfMemoryError)問題及解決
問題： 數據源連接池線程數最大連接數最初設置300，但是一周有2-3次發生活躍連接數超過最大線程數，導致線程堵塞，服務查詢等待超時，所以運維將最大線程數調至1500，這樣導致JVM創建的線程數大大增多，原先配置的JVM內存不夠使用，導致內存溢出，無法創建線程。 解決： 后將最大線程數 ...
記一次生產環境大面積404問題！
寫在前面 發布到線上的接口服務一直好端端的，今天突然運營反饋說很多功能無法正常使用。經過排查，發現前端調用后端接口時，部分接口出現404的現象。今天，我到公司比較晚，肯定是哪個小伙伴昨晚下班，走出辦公室前沒有祈禱服務器不要出問題。要把這個人揪出來，吊在服務器上——祭天！ 文章已收 ...