1、事件还原 昨天下午，收到一个504的告警，显然这是一个超时告警。当时由于手头有其他事情，没在意，就只是瞄了一眼，但是引起告警的方法很熟悉，是我写的，第一反应有点诧异。 诧异之后，继续处理手头的工作。 一小时过后，又收到同样的告警，显然不是偶尔，肯定是哪儿出问题了，于是开始排查。 报警 ...

微信公众号：内核小王子 觉得可以的话欢迎关注 场景：公司对外网关对很多外部商户开放，运行多年一直正常，昨天某一个客户调用我们接口的时候频繁报connectiontimeout，异常如下： 该异常来自于httpclient，原因是创建连接超时，也就是tcp进行三次握手的时候失败 ...

问题背景 在业务使用redis过程中，出现了read timeout 的异常。 问题排查 直接原因 运维查询redis慢查询日志，发现在异常时间节点，有redis慢查询日志，执行sadd 命令花费了1秒钟。但由于redis是单线程应用，执行单条命令的阻塞，会造成其他命令的排队等候，导致 ...

线上某服务 A 调用服务 B 接口完成一次交易，一次晚上的生产变更之后，系统监控发现服务 B 接口频繁超时，后续甚至返回线程池耗尽错误 Thread pool is EXHAUSTED。因为服务 B 依赖外部接口，刚开始误以为外部接口延时导致，所以临时增加服务 B dubbo 线程池线程数量 ...

解Bug之路-记一次中间件导致的慢SQL排查过程 前言 最近发现线上出现一个奇葩的问题，这问题让笔者定位了好长时间，期间排查问题的过程还是挺有意思的，正好博客也好久不更新了，就以此为素材写出了本篇文章。 Bug现场 我们的分库分表中间件在经过一年的沉淀之后，已经到了比较稳定的阶段。而且经 ...

山竹来临，窝在家里整理个人文档。 本篇文章主要讲解排查问题的思路，涉及linux 删除文件的原理、实 ...

背景说明 　 组织架构被拆分为多个微服务 需求： 一个输入框 查询 前后模糊查询 人员信息（工号、姓名），前后模糊查询 单位名称。 跨库平级查询！！ ...

今天测试团队反馈说，服务A的响应很慢，我在想，测试环境也会慢？于是我自己用postman请求了一下接口，真的很慢，竟然要2s左右，正常就50ms左右的。 于是去测试服务器看了一下，发现服务器负载很高，并且该服务A占了很高的cpu。先用top命令，看了load average，发现 ...