记一次线上崩溃问题的排查过程
大家好，我是雨乐！ 前几天，突然收到报警，线上服务崩溃，然后自动重启。 由于正值双十一期间，业务以稳定为主，线上服务崩溃，这可不是一件小事，赶紧登陆线上服务器，分析原因，迅速解决。 借助这篇文章，记录下整个崩溃的分析和解决过程。 收到报警 上午上班后，正在划水，突然收到邮件报警 ...
原文：记一次线上内存泄漏问题的排查过程
近期需要对公司的接口做线上的巡查监控，需要写一个脚本放到服务器上，定时运行脚本监测线上接口是否正常。测试的接口不是HTTP协议，而是公司基于TCP协议开发的私有协议，因此不能直接用现成的一些接口测试工具，需要自己写代码来调用接口。由于是私有协议，为了方便各业务项目进行通信，开发部门统一提供了一个TClient的jar包，底层使用了netty框架进行通信。调用方只需要按照协议的格式组装二进制的包，然 ...
2019-07-08 14:31 0 637 推荐指数：
相关推荐
记一次堆外内存泄漏排查过程
。发生问题时，容器配置：CPU：4个，内存：堆内3G，堆外1G。 三、问题排查流程：望-闻-问-切 ...
记一次慢sql问题排查过程
背景说明 组织架构被拆分为多个微服务 需求： 一个输入框 查询 前后模糊查询 人员信息（工号、姓名），前后模糊查询 单位名称。 跨库平级查询！！ ...
记一次OOM问题排查过程
上周运维反馈线上程序出现了OOM，程序日志中的输出为 看线程名称应该是tomcat的nio工作线程，线程在处理程序的时候因为无法在堆中分配更多内存出现了OOM，幸好JVM启动参数配置了-XX:+HeapDumpOnOutOfMemoryError，使用MAT打开拿到的hprof文件进行分析 ...
记一次使用windbg排查内存泄漏的过程
一、背景 近期有一个项目在运行当中出现一些问题，程序顺利启动，但是观察一阵子后发现内存使用总量在很缓慢地升高， 虽然偶尔还会往下降一些，但是总体还是不断上升；内存运行6个小时候从33M上升到80M； 程序存在内存泄漏是确定无疑的了，大概出问题的方向也知道，就是程序新加入一个采集协议 ...
记一次http连接池连接泄漏排查过程
问题现象： 一个批处理发货系统，前几天商家反馈提交批处理文件后，一直处于处理中状态。 排查的过程中，商家的问题不断的报过来，发现一台机器上所有批处理请求全部失败。我们立刻隔离了有问题的机器开始开始排查原因。 排查过程： 查看处理中的任务日志里面没有任何异常报错，服务器的指标（cpu、内存 ...
一次线上接口超时的排查过程
1、事件还原 昨天下午，收到一个504的告警，显然这是一个超时告警。当时由于手头有其他事情，没在意，就只是瞄了一眼，但是引起告警的方法很熟悉，是我写的，第一反应有点诧异。 诧异之后，继续处理手头的工作。 一小时过后，又收到同样的告警，显然不是偶尔，肯定是哪儿出问题了，于是开始排查。 报警 ...
原创 记录一次线上Mysql慢查询问题排查过程
背景 前段时间收到运维反馈，线上Mysql数据库凌晨时候出现慢查询的报警，并把原始sql发了过来： 表数据量200W左右，不是很大，而且是根据主键更新。 问题排查 排查Mysql数据库 我看到sql后第一反应就是是不是数据库出问题了，每个小时都有业务，偏偏白天业务高峰时间段 ...