解Bug之路-记一次存储故障的排查过程 高可用真是一丝细节都不得马虎。平时跑的好好的系统，在相应硬件出现故障时就会引发出潜在的Bug。偏偏这些故障在应用层的表现稀奇古怪，很难让人联想到是硬件出了问题，特别是偶发性出现的问题更难排查。今天，笔者就给大家带来一个存储偶发性故障的排查过程。 Bug ...

背景说明 　 组织架构被拆分为多个微服务 需求： 一个输入框 查询 前后模糊查询 人员信息（工号、姓名），前后模糊查询 单位名称。 跨库平级查询！！ 慢sql ： slow sql 2969 millis. SELECT count ...

前言 我们的分库分表中间件在线上运行了两年多，到目前为止还算稳定。在笔者将精力放在处理各种灾难性事件(例如中间件物理机宕机/数据库宕机/网络隔离等突发事件)时。竟然发现还有一些奇怪的corner case。现在就将排查思路写成文章分享出来。 Bug现场 应用拓扑 应用通过中间件连后端多个 ...

公司对底层基础库进行了重构，线上稳定跑了几天，在查看订单系统的log时，有几条error信息非常的奇怪， 订单有状态机进行维护 已经被撤消的订单不能再进行有其他操作，和状态更改。 已 ...

山竹来临，窝在家里整理个人文档。 本篇文章主要讲解排查问题的思路，涉及linux 删除文件的原理、实例误删数据恢复、MySQL实例初始化参数优先级别等，虽然涉及知识点比较浅，但是个人觉得挺有 ...

解Bug之路-记一次线上请求偶尔变慢的排查 前言 最近解决了个比较棘手的问题，由于排查过程挺有意思，于是就以此为素材写出了本篇文章。 Bug现场 这是一个偶发的性能问题。在每天几百万比交易请求中，平均耗时大约为300ms，但总有那么100多笔会超过1s，让我们业务耗时监控的99.99线变得 ...

解Bug之路-记一次调用外网服务概率性失败问题的排查 前言 和外部联调一直是令人困扰的问题，尤其是一些基础环境配置导致的问题。笔者在一次偶然情况下解决了一个调用外网服务概率性失败的问题。在此将排查过程发出来，希望读者遇到此问题的时候，能够知道如何入手。 起因 笔者的新系统上线，需要PE执行 ...

今天测试团队反馈说，服务A的响应很慢，我在想，测试环境也会慢？于是我自己用postman请求了一下接口，真的很慢，竟然要2s左右，正常就50ms左右的。 于是去测试服务器看了一下，发现服务器负载很高，并且该服务A占了很高的cpu。先用top命令，看了load average，发现 ...