原文:[JVM]一次線上頻繁GC的問題解決

起因:周末測試發現線上mq消息積壓了十幾萬的消息,如下圖所示 每個隊列幾萬的消息,立即采取緊急措施,將隊列下線重新上線。 處理積壓消息的量,調用量起來了,很快消息積壓解決了。開始事件復盤。 首先分析是否是消息消費能力跟不上消息產生原因,看入口消息,QPS是 . 消息消費QPS如下 事后開始分析原因,發現隊列積壓有如下異常: 超時時間設置的很長,大致分析出消息處理線程等待下游接口超時,連接下游接口設 ...

2019-03-20 17:27 0 2130 推薦指數:

查看詳情

一次jvm瘋狂gc導致CPU飆高的問題解決

記錄一次java虛擬機CPU飆高的異常處理 線上web服務器不時的出現非常卡的情況,登錄服務器top命令發現服務器CPU非常的高, 重啟tomcat之后CPU恢復正常,半天或者一天之后又會偶現同樣的問題解決問題首先要找到問題的爆發點,對於偶現的問題是非常難於定位的。 重啟服務器之后只能 ...

Wed Jan 01 00:16:00 CST 2020 0 2159
erlang一次線上問題解決

1.異常的原因: (1).DocumentDB重啟導致一段時間服務不可以使用,並且DocumentDB無法實現主備的切換; (2).statistic_record_service, ...

Fri Aug 09 22:06:00 CST 2019 0 432
一次頻繁Full GC問題排查過程分享

問題描述 應用收到頻繁Full GC告警 問題排查 登錄到對應機器上去,查看GC日志,發現YGC一分鍾已經達到了15,比Full GC還要頻繁一些,其中Full GC平均10分鍾超過了4,如下圖 使用jstat -gcutil 5280 1000查看實時GC情況 ...

Wed Nov 07 17:31:00 CST 2018 4 8013
一次MySQL死鎖問題解決

一次MySQL死鎖問題解決 一、環境 CentOS, MySQL 5.6.21-70, JPA 問題場景:系統有定時批量更新數據狀態操作,每次更新上千條記錄,表中總記錄數約為500W左右。 二、錯誤日志 三、排查 排查后發現都是執行類似這樣的語句出現問題 ...

Mon Feb 27 21:51:00 CST 2017 0 1429
一次 dependencyManagement 問題解決

使用場景 定義在parent項目中,管理children中引入的依賴版本信息 定義來說比叫簡單,既然在父項目中定義了 創建maven項目,項目結構 wangshuyu-center pom ...

Thu Nov 18 00:22:00 CST 2021 0 104
@RequestBody注解的參數僅僅讀取一次問題解決

最近在寫日志管理,想着使用攔截器加注解的方式,但是遇到了一個問題,就是如果使用@RequestBody注解接收的參數只能讀取一次,造成了我在攔截器中如果接收了參數,在Controller層就接收不到了,為了解決這個問題,在網上查了方法。自定義一個MyRequestWrapper 繼承 ...

Thu Jul 05 06:43:00 CST 2018 0 2635
一次 nginx 返回 302 問題解決

1、問題描述: 應用服務器通過post方式向nginx服務器發送http請求,返回 302 2、問題解決過程 2.1、查詢nginx日志,開始以為302錯誤會在nginx的錯誤日志error.log,最后發現該日志位於access.log; 通過分析日志可以拿到請求的url ...

Mon May 25 05:25:00 CST 2020 0 14613
[JVM]線上CPU負載持續飆高的問題解決

1. 周二新需求提測之后,運行到晚上,收到告警短信,生產環境CPU負載過高,先解決問題再排查,運維擴容,有問題機器下線重啟上線,CPU使用率正常,服務正常響應。 2. 開始排查問題,把預留的一台有問題的機器用於排查問題, 第一步,看相關的日志,沒有明顯的異常。然后top 命令查看cpu資源 ...

Thu Sep 19 10:38:00 CST 2019 1 328
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM