這個是之前處理過的一個線上問題,處理過程斷斷續續,經歷了兩周多的時間,中間各種嘗試,總結如下。這篇文章分三部分: 1、問題的場景和處理過程;2、GC的一些理論東西;3、看懂GC的日志 先說一下問題吧 問題場景:線上機器在半夜會推送一個700M左右的數據,這個時候有個數據置換的過程,也就是說 ...
問題描述 應用收到頻繁Full GC告警 問題排查 登錄到對應機器上去,查看GC日志,發現YGC一分鍾已經達到了 次,比Full GC還要頻繁一些,其中Full GC平均 分鍾超過了 次,如下圖 使用jstat gcutil 查看實時GC情況,年老代采用的是CMS收集器,發現觸發Full GC的原因是年老代占用空間達到指定閾值 XX:CMSInitiatingOccupancyFraction 。 ...
2018-11-07 09:31 4 8013 推薦指數:
這個是之前處理過的一個線上問題,處理過程斷斷續續,經歷了兩周多的時間,中間各種嘗試,總結如下。這篇文章分三部分: 1、問題的場景和處理過程;2、GC的一些理論東西;3、看懂GC的日志 先說一下問題吧 問題場景:線上機器在半夜會推送一個700M左右的數據,這個時候有個數據置換的過程,也就是說 ...
轉載於:https://zhangge.net/5093.html 朋友弄了一個小項目,要我幫忙做下 Linux 系統運維,上線一段時間后,發現項目偶爾會掛掉導致服務不可用。開發朋友一時之間也 ...
問題發現場景 某天突然收到線上應用的gc時間過長的告警,剛開始只有一台機器偶爾報一下,后續其他機器也紛紛告警,具體告警的閾值是應用10分鍾內ygc的總時長達到了6.6s。 初步排除過程 按照gc問題常規排查流程,還是先保留現場,jmap -dump:format=b,file ...
背景說明 組織架構被拆分為多個微服務 需求: 一個輸入框 查詢 前后模糊查詢 人員信息(工號、姓名),前后模糊查詢 單位名稱。 跨庫平級查詢!! ...
上周運維反饋線上程序出現了OOM,程序日志中的輸出為 看線程名稱應該是tomcat的nio工作線程,線程在處理程序的時候因為無法在堆中分配更多內存出現了OOM,幸好JVM啟動參數配置了-XX:+ ...
近期需要對公司的接口做線上的巡查監控,需要寫一個腳本放到服務器上,定時運行腳本監測線上接口是否正常。測試的接口不是HTTP協議,而是公司基於TCP協議開發的私有協議,因此不能直接用現成的一些接口測試工 ...
大家好,我是雨樂! 前幾天,突然收到報警,線上服務崩潰,然后自動重啟。 由於正值雙十一期間,業務以穩定為主,線上服務崩潰,這可不是一件小事,趕緊登陸線上服務器,分析原因,迅速解決。 借助這篇文章,記錄下整個崩潰的分析和解決過程。 收到報警 上午上班后,正在划水,突然收到郵件報警 ...
線上某服務 A 調用服務 B 接口完成一次交易,一次晚上的生產變更之后,系統監控發現服務 B 接口頻繁超時,后續甚至返回線程池耗盡錯誤 Thread pool is EXHAUSTED。因為服務 B 依賴外部接口,剛開始誤以為外部接口延時導致,所以臨時增加服務 B dubbo 線程池線程數量 ...