原文:记一次生产环境tomcat线程数打满情况分析

前言 旨在分享工作中遇到的各种问题及解决思路与方案,与大家一起学习. 学无止境, 加油 Just do it 问题描述 运行环境描述 tomcat . 单节点 该应用集群 个节点 avg tps ,max tps tomcat max threads: 下图蓝色线 tomcat busy threads 正常 下图绿色线 tomcat cur threads飞升 下图黄色线 每次黄色线上升时可以 ...

2020-08-12 23:25 1 1109 推荐指数:

查看详情

一次生产线程耗尽,导致内存溢出(outOfMemoryError)问题及解决

问题:   数据源连接池线程最大连接最初设置300,但是一周有2-3发生活跃连接超过最大线程,导致线程堵塞,服务查询等待超时,所以运维将最大线程调至1500,这样导致JVM创建的线程大大增多,原先配置的JVM内存不够使用,导致内存溢出,无法创建线程。 解决:   后将最大线程 ...

Fri Apr 03 19:55:00 CST 2020 0 2556
一次生产dubbo线程池耗尽的问题

问题:   dubbo线程池耗尽,活跃线程超过线程池最大线程(dubbo默认线程池最大线程为200) 登录服务提供者所在服务器 通过命令行连接dubbo: 查看dubbo活跃线程: 可以通过增加线程池最大线程数来解决 ...

Fri Apr 03 19:04:00 CST 2020 0 3640
一次生产环境presto删表失败的问题

场景,开发用java程序连接presto创建一个表,这个表在hdfs的权限为: 然后用presto去删除这个表 报错,没有权限删除,查看上一级目录权限,发现权限正常 直连hive删表 ...

Fri May 31 02:06:00 CST 2019 2 1451
一次生产环境大面积404问题!

写在前面 发布到线上的接口服务一直好端端的,今天突然运营反馈说很多功能无法正常使用。经过排查,发现前端调用后端接口时,部分接口出现404的现象。今天,我到公司比较晚,肯定是哪个小伙伴昨晚下班,走出办 ...

Tue Mar 30 03:43:00 CST 2021 0 587
一次生产事故--磁盘被占满

写在前面 今天,跑在阿里云ECS上的生产环境,突然间访问异常,接口各种报错,无奈公司没有专业的运维人员,只能硬着头皮解决一下。 问题排查 先从表面看起,数据库首先报错 直观上看,设备没有可用空间,也就是磁盘满了。 进入服务器后台,执行 发现确实磁盘满了,而且满的很彻底。系统盘 ...

Tue Feb 11 03:58:00 CST 2020 0 782
一次生产环境docker服务CPU飙高排查

今天早上,运维同学发现生产某个服务 CPU 持续飙高,于是开始进行排查: 1、首先使用 top 命令,查看 CPU 占用高的进程,得到进程 ID    2、根据上一步找到的进程ID,ps -ef | grep [进程ID] 找到对应程序    3、进入程序对应docker容器 ...

Sat Dec 25 01:25:00 CST 2021 0 1148
一次生产请求耗时的问题

最近发现lb上记录的request_time比upstream_response_time大的比较多,例如upstream_response_time记录是0.062,request_time记 ...

Sat Mar 30 16:34:00 CST 2019 3 1869
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM