原文:記一次JAVA進程導致Kubernetes節點CPU飆高的排查與解決

一 發現問題 在一次系統上線后,我們發現某幾個節點在長時間運行后會出現CPU持續飆升的問題,導致的結果就是Kubernetes集群的這個節點會把所在的Pod進行驅逐 調度 如果調度到同樣問題的節點上,也會出現Pod一直起不來的問題。我們嘗試了殺死Pod后手動調度的辦法 label ,當然也可以排除調度節點。但是在一段時間后還會復現,我們通過監控系統也排查了這段時間的流量情況,但應該和CPU持續占用 ...

2020-04-10 14:12 1 1940 推薦指數:

查看詳情

一次jvm瘋狂gc導致CPU的問題解決

記錄一次java虛擬機CPU的異常處理 線上web服務器不時的出現非常卡的情況,登錄服務器top命令發現服務器CPU非常的, 重啟tomcat之后CPU恢復正常,半天或者一天之后又會偶現同樣的問題。 解決問題首先要找到問題的爆發點,對於偶現的問題是非常難於定位的。 重啟服務器之后只能 ...

Wed Jan 01 00:16:00 CST 2020 0 2159
一次生產環境docker服務CPU排查

今天早上,運維同學發現生產某個服務 CPU 持續,於是開始進行排查: 1、首先使用 top 命令,查看 CPU 占用進程,得到進程 ID    2、根據上一步找到的進程ID,ps -ef | grep [進程ID] 找到對應程序    3、進入程序對應docker容器 ...

Sat Dec 25 01:25:00 CST 2021 0 1148
一次排查CPU的問題

背景 將log4j.xml的日志級別從error調整為info后,進行壓測發現CPU占用很高達到了90%多(之前也就是50%,60%的樣子). 問題排查 排查思路: 看進程中的線程到底執行的是什么,導致CPU占用較高. 1. 使用top命令查看到底是哪個應用 ...

Fri Nov 05 23:34:00 CST 2021 0 435
java進程CPU

的話,我們就是用jstack的工具 首先我們使用top查出來是哪個進程導致CPU 這里我們 ...

Fri Nov 04 19:30:00 CST 2016 0 3366
一次CPU占用率和load排查

  前不久公司進行了一次大促,晚上值班。大促是從晚上8點多開始的,一開始流量慢慢的進來,觀察了應用的各項指標,一切都是正常的,因為這是雙11過后的第一次大促,想着用戶的購買欲應該不會太強,所以我們的運維同事9點多就回家了在家里面遠程支持,留下交易組和其它后端的技術值班,樓主就是交易組的。誰知10 ...

Tue Nov 27 02:38:00 CST 2018 0 1282
一次容器CPU占用問題排查

起因:發現docker中有兩個容器的CPU持續在百分之95以上運行了一晚上 執行命令:docker stats 發現這個兩個大兄弟一點沒歇滿負荷跑了一晚上,再這么下去怕不是要GG 容器里跑的是JAVA應用,JDK版本1.8 首先進入容器內部:docker exec -it 容器ID /bin ...

Tue Jun 02 22:28:00 CST 2020 0 1083
一次服務器CPU排查思路

現象 排查思路 另一台服務器CPU正常,由於消息中心有部分老接口是域名調用的,網關已做負載均衡,並且pinpoint上的兩台服務器gc如圖,初步猜測是否是負載不均衡導致。 經運維調試nginx權重無效,證明與負載均衡無關。那么先看子線程,這種情況 ...

Wed Sep 25 22:46:00 CST 2019 0 673
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM