一次FGC導致CPU飆高的排查過程
今天測試團隊反饋說，服務A的響應很慢，我在想，測試環境也會慢？於是我自己用postman請求了一下接口，真的很慢，竟然要2s左右，正常就50ms左右的。 於是去測試服務器看了一下，發現服務器負載很高，並且該服務A占了很高的cpu。先用top命令，看了load average，發現 ...
原文：一次死鎖導致CPU異常飄高的整個故障排查過程
目錄 一 問題詳情 top 命令截圖 聯系騰訊雲排查 檢查系統日志發現異常 二 問題解析 三 問題原因 最終結論 四 擴展 進程的幾種狀態 馬后炮 如何快速清理僵屍進程 Z 內核參數相關 如何查看哪些文件被哪些進程被鎖 一 問題詳情 linux一切皆文件 年 月 號，晚上 . 分左右，線上業務異常，后排查 線上服務器CPU 異常高，機器是 核 G的。但是實際負載已經達到了 左右。 top 命令截 ...
2021-04-23 22:57 16 3421 推薦指數：
相關推薦
一次故障排查過程
上周晚上，某環境 ES 出現阻塞， 運行緩慢。於是開始排查問題的過程。 開始 思路：現象是阻塞，通常是 CPU 彪高，導致業務線程分配不到 CPU 時間片，或者內存吃緊，頻繁 GC 導致的 STW。 登錄到目標服務器，由於 ES 的用戶不是 LZ，因此找運維要了 root 權限，登錄到服務器 ...
記錄一次Mysql死鎖排查過程
背景以前接觸到的數據庫死鎖，都是批量更新時加鎖順序不一致而導致的死鎖，但是上周卻遇到了一個很難理解的死鎖。借着這個機會又重新學習了一下mysql的死鎖知識以及常見的死鎖場景。在多方調研以及和同事們的討論下終於發現了這個死鎖問題的成因，收獲頗多。雖然是后端程序員，我們不需要像DBA一樣深入地去分析 ...
記錄一次Mysql死鎖排查過程
背景 以前接觸到的數據庫死鎖，都是批量更新時加鎖順序不一致而導致的死鎖，但是上周卻遇到了一個很難理解的死鎖。借着這個機會又重新學習了一下mysql的死鎖知識以及常見的死鎖場景。在多方調研以及和同事們的討論下終於發現了這個死鎖問題的成因，收獲頗多。雖然是后端程序員，我們不需要像DBA一樣深入 ...
TPS低，CPU高--記一次storm壓測問題排查過程
一、業務背景+系統架構 本次場景為kafka+storm+redis+hbase，通過kafka的數據，進入storm的spout組件接收，轉由storm的Bolt節點進行業務邏 ...
記錄一次Flink作業異常的排查過程
最近2周開始接手apache flink全鏈路監控數據的作業，包括指標統計，業務規則匹配等邏輯，計算結果實時寫入elasticsearch. 昨天遇到生產環境有作業無法正常重啟的問題，我負責對這個問題進行排查跟進。 第一步，基礎排查 首先拿到jobmanager和taskmanager的日志 ...
一次奇怪的的bug排查過程
公司對底層基礎庫進行了重構，線上穩定跑了幾天，在查看訂單系統的log時，有幾條error信息非常的奇怪， 訂單有狀態機進行維護 已經被撤消的訂單不能再進行有其他操作，和狀態更改。 已 ...
解Bug之路-記一次存儲故障的排查過程
解Bug之路-記一次存儲故障的排查過程 高可用真是一絲細節都不得馬虎。平時跑的好好的系統，在相應硬件出現故障時就會引發出潛在的Bug。偏偏這些故障在應用層的表現稀奇古怪，很難讓人聯想到是硬件出了問題，特別是偶發性出現的問題更難排查。今天，筆者就給大家帶來一個存儲偶發性故障的排查過程。 Bug ...