記一次JAVA進程導致Kubernetes節點CPU飆高的排查與解決
一、發現問題 在一次系統上線后，我們發現某幾個節點在長時間運行后會出現CPU持續飆升的問題，導致的結果就是Kubernetes集群的這個節點會把所在的Pod進行驅逐（調度）；如果調度到同樣問題的節點上，也會出現Pod一直起不來的問題。我們嘗試了殺死Pod后手動調度的辦法（label ...
原文：一次erlang 節點CPU嚴重波動排查
新服務上線后觀察到，CPU在 間波動嚴重，但從每秒業務計數器看業務處理速度很平均。 接下來是排查步驟： . dstat tam 大概每 s一個周期，網絡流量開始變得很小，隨后突然增大，CPU也激增。 網絡流量變化和從性能計數器結果上並不符合，服務相關業務較為復雜，先找出那個業務占用網絡流量。 . iftop 找出流量最大的幾個目標IP，並且周期的流量變為 隨后激增。 通過IP 知道是外部http ...
2014-07-27 23:36 2 2891 推薦指數：
相關推薦
記一次排查CPU高的問題
背景 將log4j.xml的日志級別從error調整為info后,進行壓測發現CPU占用很高達到了90%多(之前也就是50%,60%的樣子). 問題排查 排查思路: 看進程中的線程到底執行的是什么,導致CPU占用較高. 1. 使用top命令查看到底是哪個應用 ...
記一次排查tomcat耗費CPU過高的經歷
有一個新項目，在測試環境部署后，發現tomcat進程耗費的CPU非常高，排查過程如下： 日志搜集 先通過top，查找耗費CPU最高的線程 top -Hp pid 將線程ID轉為16進制 printf "%x\n" threadid 搜集JVM的棧日志 jstack pid > ...
記一次CPU占用率和load高的排查
前不久公司進行了一次大促，晚上值班。大促是從晚上8點多開始的，一開始流量慢慢的進來，觀察了應用的各項指標，一切都是正常的，因為這是雙11過后的第一次大促，想着用戶的購買欲應該不會太強，所以我們的運維同事9點多就回家了在家里面遠程支持，留下交易組和其它后端的技術值班，樓主就是交易組的。誰知10 ...
一次生產 CPU 100% 排查優化實踐
前言 到了年底果然都不太平，最近又收到了運維報警：表示有些服務器負載非常高，讓我們定位問題。 還真是想什么來什么，前些天還故意把某些服務器的負載提高（沒錯，老板讓我寫個 BUG！），不過還好是 ...
記 Arthas 實現一次 CPU 排查與代碼熱更新
作者 | 何波 【Arthas 官方社區正在舉行征文活動，參加即有獎品拿~點擊投稿】 1.前言 背景 線上代碼經常會出現 CPU 占用過高的情況，按以往經驗我會使用 top 指令，進一步借助於 jstack 去查看具體信息從而進行問題排查，但基本上都逃不過需要重新發包的局面，及時是一個增量 ...
一次線上CPU高的問題排查實踐
一次線上CPU高的問題排查實踐 前言 近期某一天上班一開電腦，就收到了運維警報，有兩台服務CPU負載很高，同時收到一線同事反饋 系統訪問速度非常慢，幾乎無響應。 一個美好的早晨，最怕什么就來什么。只好推掉其他會議，專心搞定問題。 排查 登錄系統一看，后端的接口訪問果然全部超時 ...
一次java Cpu占用過高的排查
某一個項目CPU占用率一直很高，經常在40%-50%之間，最近比較閑，就開始了排查工作。 1.通過 jstack命令輸出進程的堆棧信息 將堆棧信息輸出到log.txt 2. 通過ProcessExplorer查找CPU占用過高的線程 從圖中可以看到，占用 ...