记一次dubbo服务丢失的问题排查
主要环境与用到的（关键）组件： 首先是服务报错： 很多使用过dubbo的同学对这个报错信息应该都不陌生，一般情况下，如果没有配置好生产端、消费端或者注册中心，启动的时候就会报这个错。但这里的情况是，消费端和生产端都已经正常运行了一段时间了，大概10天左右，突然报 ...
原文：记一次线上dubbo服务超时和线程池满问题排查
线上某dubbo服务A调用dubbo服务B的接口X方法，调用端A日志中出现了很多超时的情况，提供端B该接口X超时时间设置为 s 查看提供端B的日志，报了很多线程池满的异常： 服务B部署了 个节点，仅 个节点有线程池满情况 服务B的dubbo配置如下，线程池固定 个线程： 通过ps aux grep 服务B的jmx端口号，查到进程pid 通过jstack pid gt jstatck.log dum ...
2018-09-19 22:46 0 2901 推荐指数：
相关推荐
记一次生产dubbo线程池耗尽的问题
问题： dubbo线程池耗尽，活跃线程数超过线程池最大线程数（dubbo默认线程池最大线程数为200） 登录服务提供者所在服务器 通过命令行连接dubbo： 查看dubbo活跃线程： 可以通过增加线程池最大线程数来解决 ...
记一次线上SpringCloud-Feign请求服务超时异常排查
由于近期线上单量暴涨，第三方反馈部分工单业务存在查询处理失败现象，经排查是当前系统通过FeignClient调用下游系统出现部分超时失败（异常代码贴在下方）。 通过系统慢请求捕捉拦截，发现当前请求仅耗时1031毫秒，就触发Read timed out超时错误，本项 ...
记一次线上报错日志问题排查
今天阳光明媚，掐指一算，今天比较适合划水。 于是早上到公司之后先是蹲了厕所，然后就准备翻阅公众号推文。 看的正嗨，突然钉钉群里开始响了， 生产日志群报了一条警告，如下： 报错信息很明确 ...
记一次线上内存泄漏问题的排查过程
近期需要对公司的接口做线上的巡查监控，需要写一个脚本放到服务器上，定时运行脚本监测线上接口是否正常。测试的接口不是HTTP协议，而是公司基于TCP协议开发的私有协议，因此不能直接用现成的一些接口测试工具，需要自己写代码来调用接口。由于是私有协议，为了方便各业务项目进行通信，开发部门统一提供了一个 ...
记一次线上崩溃问题的排查过程
，如下： 问题分析 马上登录线上服务器，gdb调试堆栈信息。 堆栈信息如下： #0 0x000000 ...
记一次线上websocket返回400问题排查
现象 生产环境websocket无法正常连接，服务端返回400 bad request，开发及测试环境均正常。 抓包排查 src：nginx服务器 172.16.177.193dst：imp应用服务器 172.16.177.218 问题定位 ...
Kafka 异步消息也会阻塞？记一次 Dubbo 频繁超时排查过程
线上某服务 A 调用服务 B 接口完成一次交易，一次晚上的生产变更之后，系统监控发现服务 B 接口频繁超时，后续甚至返回线程池耗尽错误 Thread pool is EXHAUSTED。因为服务 B 依赖外部接口，刚开始误以为外部接口延时导致，所以临时增加服务 B dubbo 线程池线程数量 ...