原文:一次线上Redis类转换异常排查引发的思考

之前同事反馈说线上遇到Redis反序列化异常问题,异常如下: 已知信息如下: 该异常不是必现的,偶尔才会出现 出现该异常后重启应用或者过一会就好了 序列化协议使用了hessian。 因为偶尔出现,首先看了报异常那块业务逻辑是不是有问题,看了一遍也发现什么问题。看了下对应日志,发现是在Redis读超时之后才出现的该异常,因此怀疑redis client操作逻辑那块导致的 公司架构组对redis做了一 ...

2019-06-24 11:05 0 885 推荐指数:

查看详情

一次线上问题排查引发思考

前言 之前或多或少分享过一些内存模型、对象创建之类的内容,其实大部分人看完都是懵懵懂懂,也不知道这些的实际意义。 直到有一天你会碰到线上奇奇怪怪的问题,如: 线程执行一个任务迟迟没有返回,应用假死。 接口响应缓慢,甚至请求超时。 CPU 高负载运行。 这类问题并不 ...

Mon Jul 09 16:20:00 CST 2018 6 3053
一次排查线上接口偶发异常耗时引起的思考

一、引子 这要从线上的一个接口偶发异常耗时说起,事情往往不是你想象的样子,尤其是在排查问题的时候,切忌有先入为主的的某些判断。 二、问题: 接口监控图:显示每天总会有那么几次耗时特别长的请求。 三、排查: 1、直观的认识是“偶发”,每天零星的几个,不规律。 对于这种情况,第一感觉 ...

Sat Jul 11 10:04:00 CST 2020 0 922
一次线上问题引发的对dubbo优雅下线的思考

一.背景 我们经常聊到dubbo的启动,是如何暴露接口的,如何注册到注册中心的,但是就一个完整的生命周期而言,有上线就必然有下线,而下线这一部分往往被人忽略,这次就一次线上发布问题为入口,来分析dubbo下线的过程和其中遇到的问题,从另一个方面加深dubbo整个生命周期的理解 ...

Tue Jun 01 01:41:00 CST 2021 0 1115
一次线上问题引发的对于C#中相等判断的思考

线上报来一个问题,说用户的数据丢失了。开发经过紧张的调查。终于找到了原因。 问题出在了 if 中的比较上。 values[rowIndex] 中保存的是一个整数,开发认为两个整数比较实用 == 就可以了。 但是 values[rowIndex] 中的整数 ...

Sat Dec 22 03:17:00 CST 2018 3 535
一次线上OOM过程的排查

https://blog.csdn.net/qq_16681169/article/details/53296137 一.出现问题 在前一段时间日常环境很不稳定,前端调用mtop接口会出网络异常或服务不存在的异常。查询了服务器上的HSF会有偶尔挂死的情况,服务器上的接口服务都不 ...

Thu Nov 08 22:34:00 CST 2018 0 1460
一次线上死循环的排查

1、问题发现 Prometheus报警某服务的一个节点 Old GC过多,需要排查。 2、查看GC日志 使用tail -f gc.log命令查看异常节点的GC日志,从日志可以看出Young GC过于频繁,竟然在1s内有9Young GC: 使用tail ...

Wed Jul 03 07:10:00 CST 2019 2 360
一次线上OOM故障排查经过

转贴:http://my.oschina.net/flashsword/blog/205266 本文是一次线上OOM故障排查的经过,内容比较基础但是真实,主要是记录一下,没有OOM排查经验的同学也可以参考。 现象 我们之前有一个计算作业。最近经常出现不稳定,无法正常响应的情况。具体表现 ...

Thu Mar 06 21:05:00 CST 2014 0 2844
一次 symbol lookup error 引发思考

开发一个跨平台的项目的时候,大部分时候都是在VS下进行编码,所以也就使用了VS的解决方案来管理项目。 因为要跨平台,当时网上看scons这个工具不错,所以在linux下就使用了scons来作为编译脚本 ...

Sat Jan 14 00:31:00 CST 2017 0 3892
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM