原创 记录一次线上Mysql慢查询问题排查过程
背景 前段时间收到运维反馈，线上Mysql数据库凌晨时候出现慢查询的报警，并把原始sql发了过来： 表数据量200W左右，不是很大，而且是根据主键更新。 问题排查 排查Mysql数据库 我看到sql后第一反应就是是不是数据库出问题了，每个小时都有业务，偏偏白天业务高峰时间段 ...
原文：Linux(2)---记录一次线上服务 CPU 100%的排查过程
Linux 记录一次线上服务 CPU 的排查过程 当时产生CPU飙升接近 的原因是因为项目中的websocket时时断开又重连导致CPU飙升接近 。如何排查的呢 是通过日志输出错误信息: 得知websocket时时重新 连接的信息,然后找到原因 解决了。 当然这里幸好能通过日志大致分析出原因 那么我就在思考如果日志没有告诉任何信息 但线上CPU还是接近 那么如何排查呢。所以学习了下排查过程。 通 ...
2018-11-22 21:52 0 1521 推荐指数：
相关推荐
一次线上接口超时的排查过程
1、事件还原 昨天下午，收到一个504的告警，显然这是一个超时告警。当时由于手头有其他事情，没在意，就只是瞄了一眼，但是引起告警的方法很熟悉，是我写的，第一反应有点诧异。 诧异之后，继续处理手头的工作。 一小时过后，又收到同样的告警，显然不是偶尔，肯定是哪儿出问题了，于是开始排查。 报警 ...
记一次线上服务CPU 100%的处理过程
告警 正在开会，突然钉钉告警声响个不停，同时市场人员反馈客户在投诉系统登不进了，报504错误。查看钉钉上的告警信息，几台业务服务器节点全部报CPU超过告警阈值，达100%。 赶紧从会上下来，SSH登录服务器，使用 top 命令查看，几个Java进程CPU占用达到180%，190%，这几 ...
记一次线上内存泄漏问题的排查过程
近期需要对公司的接口做线上的巡查监控，需要写一个脚本放到服务器上，定时运行脚本监测线上接口是否正常。测试的接口不是HTTP协议，而是公司基于TCP协议开发的私有协议，因此不能直接用现成的一些接口测试工具，需要自己写代码来调用接口。由于是私有协议，为了方便各业务项目进行通信，开发部门统一提供了一个 ...
记一次线上崩溃问题的排查过程
大家好，我是雨乐！ 前几天，突然收到报警，线上服务崩溃，然后自动重启。 由于正值双十一期间，业务以稳定为主，线上服务崩溃，这可不是一件小事，赶紧登陆线上服务器，分析原因，迅速解决。 借助这篇文章，记录下整个崩溃的分析和解决过程。 收到报警 上午上班后，正在划水，突然收到邮件报警 ...
一次FGC导致CPU飙高的排查过程
今天测试团队反馈说，服务A的响应很慢，我在想，测试环境也会慢？于是我自己用postman请求了一下接口，真的很慢，竟然要2s左右，正常就50ms左右的。 于是去测试服务器看了一下，发现服务器负载很高，并且该服务A占了很高的cpu。先用top命令，看了load average，发现 ...
记录一次Mysql死锁排查过程
与锁相关的源码，但是如果我们能够掌握基本的死锁排查方法，对我们的日常开发还是大有裨益的。PS：本文不会介 ...
记录一次http网络超时的排查过程
微信公众号：内核小王子 觉得可以的话欢迎关注 场景：公司对外网关对很多外部商户开放，运行多年一直正常，昨天某一个客户调用我们接口的时候频繁报connectiontimeout，异常如下： 该异常来自于httpclient，原因是创建连接超时，也就是tcp进行三次握手的时候失败 ...