記一次線上崩潰問題的排查過程
大家好，我是雨樂！ 前幾天，突然收到報警，線上服務崩潰，然后自動重啟。 由於正值雙十一期間，業務以穩定為主，線上服務崩潰，這可不是一件小事，趕緊登陸線上服務器，分析原因，迅速解決。 借助這篇文章，記錄下整個崩潰的分析和解決過程。 收到報警 上午上班后，正在划水，突然收到郵件報警 ...
原文：記一次線上內存泄漏問題的排查過程
近期需要對公司的接口做線上的巡查監控，需要寫一個腳本放到服務器上，定時運行腳本監測線上接口是否正常。測試的接口不是HTTP協議，而是公司基於TCP協議開發的私有協議，因此不能直接用現成的一些接口測試工具，需要自己寫代碼來調用接口。由於是私有協議，為了方便各業務項目進行通信，開發部門統一提供了一個TClient的jar包，底層使用了netty框架進行通信。調用方只需要按照協議的格式組裝二進制的包，然 ...
2019-07-08 14:31 0 637 推薦指數：
相關推薦
記一次堆外內存泄漏排查過程
。發生問題時，容器配置：CPU：4個，內存：堆內3G，堆外1G。 三、問題排查流程：望-聞-問-切 ...
記一次慢sql問題排查過程
背景說明 組織架構被拆分為多個微服務 需求： 一個輸入框 查詢 前后模糊查詢 人員信息（工號、姓名），前后模糊查詢 單位名稱。 跨庫平級查詢！！ ...
記一次OOM問題排查過程
上周運維反饋線上程序出現了OOM，程序日志中的輸出為 看線程名稱應該是tomcat的nio工作線程，線程在處理程序的時候因為無法在堆中分配更多內存出現了OOM，幸好JVM啟動參數配置了-XX:+HeapDumpOnOutOfMemoryError，使用MAT打開拿到的hprof文件進行分析 ...
記一次使用windbg排查內存泄漏的過程
一、背景 近期有一個項目在運行當中出現一些問題，程序順利啟動，但是觀察一陣子后發現內存使用總量在很緩慢地升高， 雖然偶爾還會往下降一些，但是總體還是不斷上升；內存運行6個小時候從33M上升到80M； 程序存在內存泄漏是確定無疑的了，大概出問題的方向也知道，就是程序新加入一個采集協議 ...
記一次http連接池連接泄漏排查過程
問題現象： 一個批處理發貨系統，前幾天商家反饋提交批處理文件后，一直處於處理中狀態。 排查的過程中，商家的問題不斷的報過來，發現一台機器上所有批處理請求全部失敗。我們立刻隔離了有問題的機器開始開始排查原因。 排查過程： 查看處理中的任務日志里面沒有任何異常報錯，服務器的指標（cpu、內存 ...
一次線上接口超時的排查過程
1、事件還原 昨天下午，收到一個504的告警，顯然這是一個超時告警。當時由於手頭有其他事情，沒在意，就只是瞄了一眼，但是引起告警的方法很熟悉，是我寫的，第一反應有點詫異。 詫異之后，繼續處理手頭的工作。 一小時過后，又收到同樣的告警，顯然不是偶爾，肯定是哪兒出問題了，於是開始排查。 報警 ...
原創 記錄一次線上Mysql慢查詢問題排查過程
背景 前段時間收到運維反饋，線上Mysql數據庫凌晨時候出現慢查詢的報警，並把原始sql發了過來： 表數據量200W左右，不是很大，而且是根據主鍵更新。 問題排查 排查Mysql數據庫 我看到sql后第一反應就是是不是數據庫出問題了，每個小時都有業務，偏偏白天業務高峰時間段 ...