一、背景 近期有一個項目在運行當中出現一些問題,程序順利啟動,但是觀察一陣子后發現內存使用總量在很緩慢地升高, 雖然偶爾還會往下降一些,但是總體還是不斷上升;內存運行6個小時候從33M上升到80M; 程序存在內存泄漏是確定無疑的了,大概出問題的方向也知道,就是程序新加入一個采集協議 ...
由來 前些日子小組內安排值班,輪流看顧我們的服務,主要做一些報警郵件處理 Bug 排查 運營 issue 處理的事。工作日還好,無論干什么都要上班的,若是輪到周末,那這一天算是毀了。 不知道是公司網絡廣了就這樣還是網絡運維組不給力,網絡總有問題,不是這邊交換機脫網了就是那邊路由器壞了,還偶發地各種超時,而我們靈敏地服務探測服務總能准確地抓住偶現的小問題,給美好的工作加點料。好幾次值班組的小伙伴們一 ...
2019-01-22 19:00 12 5905 推薦指數:
一、背景 近期有一個項目在運行當中出現一些問題,程序順利啟動,但是觀察一陣子后發現內存使用總量在很緩慢地升高, 雖然偶爾還會往下降一些,但是總體還是不斷上升;內存運行6個小時候從33M上升到80M; 程序存在內存泄漏是確定無疑的了,大概出問題的方向也知道,就是程序新加入一個采集協議 ...
近期需要對公司的接口做線上的巡查監控,需要寫一個腳本放到服務器上,定時運行腳本監測線上接口是否正常。測試的接口不是HTTP協議,而是公司基於TCP協議開發的私有協議,因此不能直接用現成的一些接口測試工 ...
線上有一個消息消費服務xxx-consumer,使用spring-kafka框架,主線程批量從消費隊列(kafka)拉取交易系統生產的消息,然后提交到子線程池中挨個處理消費。 public a ...
人人都會犯錯,但一些錯誤是如此的荒謬,我想不通怎么會有人犯這種錯誤。更沒想到的是,這種事竟發生在了我們身上。當然,這種東西只有事后才能發現真相。接下來,我將講述一系列最近在我們一個應用上犯過的這種錯誤 ...
一次完整的JVM堆外內存泄漏故障排查記錄 前言 記錄一次線上JVM堆外內存泄漏問題的排查過程與思路,其中夾帶一些JVM內存分配機制以及常用的JVM問題排查指令和工具分享,希望對大家有所幫助。 在整個排查過程中,我也走了不少彎路,但是在文章中我仍然會把完整 ...
。發生問題時,容器配置:CPU:4個,內存:堆內3G,堆外1G。 三、問題排查流程:望-聞-問-切 ...
前言 記錄一次線上JVM堆外內存泄漏問題的排查過程與思路,其中夾帶一些JVM內存分配機制以及常用的JVM問題排查指令和工具分享,希望對大家有所幫助。 在整個排查過程中,我也走了不少彎路,但是在文章中我仍然會把完整的思路和想法寫出來,當做一次經驗教訓,給后人參考,文章最后也總結了下內存泄漏問題 ...
這星期被線上JVM內存占用不斷增大的問題所困擾,自己提出了一些假設,然后去實施驗證都一一失敗了,有一些經驗和教訓在這里分享下. 之所以是尷尬,是最后因為修復了另一個看似不相關的問題導致內存不再上升,但這之間的關系還未明了,還需要繼續追蹤. 這里講述一下這次排查的過程. 直接內存的錯誤判斷 ...