原文:记一次Redis错误排查经历(redis cluster 节点重启后无限同步问题)

日志集中式监控平台上线已经有一段时间,但是大部分情况下只是作为发布或者出问题时查看日志的便利工具使用。平时大家都不怎么主动上去看看。于是前几天把应用的错误日志也加上邮件 Hi和短信报警,马上就收到很多错误报警,引起了大家的重视。其中有一个Redis报错: 看起来挺严重的,拿不到Redis连接,而且是在 validate的时候报的错: 我们使用的是Jedis,在validate的时候默认是发送一个P ...

2020-05-14 18:19 0 2876 推荐指数:

查看详情

一次Redis错误排查经历

日志集中式监控平台上线已经有一段时间,但是大部分情况下只是作为发布或者出问题时查看日志的便利工具使用。平时大家都不怎么主动上去看看。于是前几天把应用的错误日志也加上邮件、Hi和短信报警,马上就收到很多错误报警,引起了大家的重视。其中有一个Redis报错: 看起来挺严重的,拿不到Redis连接 ...

Sat Mar 18 06:56:00 CST 2017 0 2790
一次redis key丢失的问题排查

最近测试环境的redis经常性发生某些key丢失的问题,最终的找到的问题让人大吃一惊。 复盘一下步骤: 1、发现问题 不知道从某天开始,后台经常报错,原因是某些key丢失,一开始不在意,以为是小bug,后来越来越频繁。 2、检查代码 看看是不是有误删除的情况,这些key的访问范围很小,压根没有删除 ...

Thu Apr 25 22:19:00 CST 2019 0 1424
一次redis主从同步失败

zabbix告警突然从某个时间点开始提示CPU使用高,网卡流量也一直居高不下。 首先查看redis日志,发现告警时间点redis节点重启了,发生了主备切换,并且在日志中发现这么一段 [3081] 06 Dec 02:33:28.090 # Client addr=****:35810 ...

Wed Dec 06 19:14:00 CST 2017 0 3235
一次Docker中Redis连接暴增的问题排查

周六生产服务器出现redis服务器不可用状态,错误信息为: 状态不可用,等待后台检查程序恢复方可使用。Unexpected end of stream; expected type 'Status' 如下图所示,下图6300就是我们redis服务器运行的端口。 头一次碰到此类问题 ...

Mon Jun 08 03:37:00 CST 2020 0 1240
一次chrony同步失败问题排查

先简单介绍一下chrony chrony是linux7开始使用的时间同步服务,系统内置。比ntp更加快捷,简单 含有服务端和客户端:服务名为 chronyd,客户端工具chronyc 配置文件 /etc/chron.conf # Use public servers from ...

Wed Oct 09 23:06:00 CST 2019 0 2176
一次排查tomcat耗费CPU过高的经历

有一个新项目,在测试环境部署,发现tomcat进程耗费的CPU非常高,排查过程如下: 日志搜集 先通过top,查找耗费CPU最高的线程 top -Hp pid 将线程ID转为16进制 printf "%x\n" threadid 搜集JVM的栈日志 jstack pid > ...

Wed Jul 25 03:43:00 CST 2018 0 3741
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM