原文:一次FGC导致CPU飙高的排查过程

今天测试团队反馈说,服务A的响应很慢,我在想,测试环境也会慢 于是我自己用postman请求了一下接口,真的很慢,竟然要 s左右,正常就 ms左右的。 于是去测试服务器看了一下,发现服务器负载很高,并且该服务A占了很高的cpu。先用top命令,看了load average,发现都到了 . 左右 双核cpu 了,并且有一个java进程 占用cpu一直很高,如下图: 于是,用命令jps l看了一下j ...

2020-06-01 10:25 4 1260 推荐指数:

查看详情

一次JAVA进程导致Kubernetes节点CPU排查与解决

一、发现问题 在一次系统上线后,我们发现某几个节点在长时间运行后会出现CPU持续飙升的问题,导致的结果就是Kubernetes集群的这个节点会把所在的Pod进行驱逐(调度);如果调度到同样问题的节点上,也会出现Pod一直起不来的问题。我们尝试了杀死Pod后手动调度的办法(label ...

Fri Apr 10 22:12:00 CST 2020 1 1940
一次故障排查过程

上周晚上,某环境 ES 出现阻塞, 运行缓慢。于是开始排查问题的过程。 开始 思路:现象是阻塞,通常是 CPU导致业务线程分配不到 CPU 时间片,或者内存吃紧,频繁 GC 导致的 STW。 登录到目标服务器,由于 ES 的用户不是 LZ,因此找运维要了 root 权限,登录到服务器 ...

Fri Jan 25 20:50:00 CST 2019 2 969
一次奇怪的的bug排查过程

公司对底层基础库进行了重构,线上稳定跑了几天,在查看订单系统的log时,有几条error信息非常的奇怪, 订单有状态机进行维护 已经被撤消的订单不能再进行有其他操作,和状态更改。 已 ...

Tue Nov 30 18:00:00 CST 2021 2 1723
一次生产环境docker服务CPU排查

今天早上,运维同学发现生产某个服务 CPU 持续,于是开始进行排查: 1、首先使用 top 命令,查看 CPU 占用的进程,得到进程 ID    2、根据上一步找到的进程ID,ps -ef | grep [进程ID] 找到对应程序    3、进入程序对应docker容器 ...

Sat Dec 25 01:25:00 CST 2021 0 1148
一次jvm疯狂gc导致CPU的问题解决

记录一次java虚拟机CPU的异常处理 线上web服务器不时的出现非常卡的情况,登录服务器top命令发现服务器CPU非常的, 重启tomcat之后CPU恢复正常,半天或者一天之后又会偶现同样的问题。 解决问题首先要找到问题的爆发点,对于偶现的问题是非常难于定位的。 重启服务器之后只能 ...

Wed Jan 01 00:16:00 CST 2020 0 2159
Linux(2)---记录一次线上服务 CPU 100%的排查过程

Linux(2)---记录一次线上服务 CPU 100%的排查过程 当时产生CPU飙升接近100%的原因是因为项目中的websocket时时断开又重连导致CPU飙升接近100% 。如何排查的呢 是通过日志输出错误信息: 得知websocket时时重新 连接的信息,然后找到原因 解决 ...

Fri Nov 23 05:52:00 CST 2018 0 1521
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM