一次百万长连接压测 Nginx OOM 的问题排查分析
在最近的一次百万长连接压测中，32C 128G 的四台 Nginx 频繁出现 OOM，出现问题时的内存监控如下所示。 排查的过程记录如下。 现象描述 这是一个 websocket 百万长连接收发消息的压测环境，客户端 jmeter 用了上百台机器，经过四台 ...
原文：[原创]百万长连接压测问题排查分析
一 背景： 基于WebSocket长连接的消息服务进行全链路压测，目标是实现最少 W长连接下压测服务的各个接口TPS，QPS及其稳定性和资源消耗情况。 二 全链路架构图： 三 遇到的问题总结： 问题一：Jmeter肉鸡连接达到 w左右时，出现OOM。 问题二：心跳超时导致连接断开。 问题三：达到 w并发时，出现连接大批量掉线问题。 问题四：达到 w并发时，出现连接数上不去的问题。 问题五：达到 ...
2020-03-16 15:44 1 1429 推荐指数：
相关推荐
python_sse长连接压测
...
.NET 连接oracle 报错Connection request timed out问题排查分析
问题描述 在一个老的.NET系统中，每天到运行到下午或者晚上就会出现连接数据库超时的问题Connection request timed out；针对该BUG进行了排查; 通过日志记录，后台程序分析，最终定位到原来是底层数据库帮助类未关闭连接导致，连接数不断增加，闲置连接也增大，最终达到最大连接 ...
性能压测问题分析
记一次生产环境性能压测优化的经历 对线上服务进行性能压力测试的一次优化过程。 项目背景： 1.服务器的硬件配置(48核120G内存2T硬盘)； 2.网络部署结构，用户请求报文首先进入负载均衡Nginx，Nginx后端负载两台Tomcat。 现象描述： 对线上的两台服务器做性能压测时 ...
Docker 容器内分析 java程序占用 cpu 高问题排查分析
背景描述 我们目前所有的 java 服务都是封装在 docker 里面的，今天做压力容量测试的时候发现有个服务占用cpu 300%,想找到是这个 java 程序的那个线程造成的问题，把问题反馈给开发让他们去修复。 下面所使用的容器镜像都是通过：Docker容器内执行 jvm 分析工具命令 ...
Malformed Packet PNG排查分析
1、问题描述： 接到开发工程说，图片时而好，时而坏。怀疑是网络三角传输模式问题，或者是Nginx配置问题。 2、环境拓扑图： 3、这是Nginx处抓报文信息：HTTP和Porttable Network Graphics ...
GC Ergonomics间接引发的锁等待超时问题排查分析
1. 问题背景 上周线上某模块出现锁等待超时，如下图所示： 我虽然不是该模块负责人，但出于好奇，也一起帮忙排查定位问题。 这里的业务背景就是在执行到某个地方时，需要去表中插入一批数据，这批数据需要根据数据类型分配流水号。这与我的select for update引发死锁分析提到的流水号分配 ...