线上并发事务死锁问题排查
并发事务死锁问题排查 业务系统上线后，服务日志报错: 上游业务系统监听多个topic，但不同topic有交集，交集为共同更新我们系统的某一张表。服务虽然一直在报错，但是数据并没有出现重复及丢失的情况。针对这个问题现象进行排查。 1 排查思路： 1.1 首先调研下mysql InnoDB ...
原文：线上Redis高并发连接失败问题排查
项目背景 最近，做一个按优先级和时间先后排队的需求。用 Redis 的 sorted set 做排队队列。 主要使用的 Redis 命令有， zadd, zcount, zscore, zrange 等。 测试完毕后，发到线上，发现有大量接口请求返回超时熔断 超时时间为 s 。 Error日志打印的异常堆栈为： redis.clients.jedis.exceptions.JedisConnect ...
2020-09-28 17:02 2 3225 推荐指数：
相关推荐
线上Redis偶发性链接失败排查记
问题过程 输入法业务于12月12日上线了词库接受业务，对部分用户根据用户uuid判断进行回传，在12月17日早上8点多开始出现大量的php报错（Redis went away），报错导致了大量的链接积累，瞬间服务器的80端口堆积到了2w多导致了接受计费日志的接口全部返回超时，丢失了1小时的结费 ...
redis连接超时问题排查
连接池无法获取到连接或获取连接超时redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool对于这类问题的原因有几类，可以根据以下一一进行排查 连接配置错误 ...
【Redis连接超时】记录线上RedisConnectionFailureException异常排查过程
项目架构： 部分组件如下： SpringCloudAlibaba(Nacos+Gateway+OpenFeign）+SpringBoot2.x+Redis 问题背景: 最近由于用户量增大，在高峰时期，会导致用户服务偶尔Redis出现连接超时的情况， 例如：从Redis中 ...
一次线上CPU高的问题排查实践
一次线上CPU高的问题排查实践 前言 近期某一天上班一开电脑，就收到了运维警报，有两台服务CPU负载很高，同时收到一线同事反馈 系统访问速度非常慢，几乎无响应。 一个美好的早晨，最怕什么就来什么。只好推掉其他会议，专心搞定问题。 排查 登录系统一看，后端的接口访问果然全部超时 ...
线上死锁问题排查
问题描述： 线上一个服务的突然挂了，无法被调用，查看该服务日志发现Dubbo的线程池全满了： 没有多少访问量，但是线程却猛增，猜测可能是哪里出现了死循环或者哪里发生了死锁。 首先，检测一下服务器的CPU使用量，发现在正常范围内，基本上可以排除哪里出现了死循环。 先找出该服务的进程 ...
Arthas线上问题排查
的 Exception？ 我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？ 遇到问题无法在 ...
JVM线上问题排查
前言 本文介绍服务器内运行的 Java 应用产生的 OOM 问题 和 CPU 100% 的问题定位 1. 内存 OOM 问题定位 某Java服务(比如进程id pid 为 3320)出现OOM，常见的原因为： 内存分配的确实小了，而正常业务使用了大量的内存 某个对象被频繁申请 ...