记一次JAVA进程导致Kubernetes节点CPU飙高的排查与解决
一、发现问题 在一次系统上线后，我们发现某几个节点在长时间运行后会出现CPU持续飙升的问题，导致的结果就是Kubernetes集群的这个节点会把所在的Pod进行驱逐（调度）；如果调度到同样问题的节点上，也会出现Pod一直起不来的问题。我们尝试了杀死Pod后手动调度的办法（label ...
原文：记一次jvm疯狂gc导致CPU飙高的问题解决
记录一次java虚拟机CPU飙高的异常处理 线上web服务器不时的出现非常卡的情况，登录服务器top命令发现服务器CPU非常的高， 重启tomcat之后CPU恢复正常，半天或者一天之后又会偶现同样的问题。 解决问题首先要找到问题的爆发点，对于偶现的问题是非常难于定位的。 重启服务器之后只能等待问题再次出现，这时候首先怀疑是否某个定时任务引发大量计算或者某个请求引发了死循环， 所以先把代码里面所有怀 ...
2019-12-31 16:16 0 2159 推荐指数：
相关推荐
[JVM]一次线上频繁GC的问题解决
起因：周末测试发现线上mq消息积压了十几万的消息，如下图所示 每个队列几万的消息，立即采取紧急措施，将队列下线重新上线。 处理积压消息的量，调用量起来了，很快消息积压解决了。开始事件复盘。 首先分析是否是消息消费能力跟不上消息产生原因，看入口消息，QPS是29.6 消息消费 ...
[JVM]线上CPU负载持续飙高的问题解决
1. 周二新需求提测之后，运行到晚上，收到告警短信，生产环境CPU负载过高，先解决问题再排查，运维扩容，有问题机器下线重启上线，CPU使用率正常，服务正常响应。 2. 开始排查问题，把预留的一台有问题的机器用于排查问题， 第一步，看相关的日志，没有明显的异常。然后top 命令查看cpu资源 ...
一次FGC导致CPU飙高的排查过程
今天测试团队反馈说，服务A的响应很慢，我在想，测试环境也会慢？于是我自己用postman请求了一下接口，真的很慢，竟然要2s左右，正常就50ms左右的。 于是去测试服务器看了一下，发现服务器负载很高，并且该服务A占了很高的cpu。先用top命令，看了load average，发现 ...
日常问题解决：记一次因watchdog未启动导致的resin启动失败解决
报错watchdog-manager.log (Permission denied) 通常是因为没有启动watchdog所致，解决办法如下： 进入resin主目录下，执行命令： java -jar lib/resin.jar stop java -jar lib/resin.jar ...
记一次 dependencyManagement 问题解决
使用场景 定义在parent项目中，管理children中引入的依赖版本信息 定义来说比叫简单，既然在父项目中定义了 创建maven项目，项目结构 wangshuyu-center pom ...
记一次排查CPU高的问题
背景 将log4j.xml的日志级别从error调整为info后,进行压测发现CPU占用很高达到了90%多(之前也就是50%,60%的样子). 问题排查 排查思路: 看进程中的线程到底执行的是什么,导致CPU占用较高. 1. 使用top命令查看到底是哪个应用 ...
记一次生产环境docker服务CPU飙高排查
今天早上，运维同学发现生产某个服务 CPU 持续飙高，于是开始进行排查： 1、首先使用 top 命令，查看 CPU 占用高的进程，得到进程 ID 2、根据上一步找到的进程ID，ps -ef | grep [进程ID] 找到对应程序 3、进入程序对应docker容器 ...