解决kafka 消息堆积问题的排查及调优
转载自博客： https://blog.csdn.net/u012811805/article/details/121347269 一、背景说明 深夜接到客户紧急电话，反馈腾讯云 kafka 中有大量消息堆积未及时消费。每分钟堆积近 100w 条数据。但是查看 ES 监控，各项指标都远还没 ...
原文：一次 kafka 消息堆积问题排查
收到某业务组的小伙伴发来的反馈，具体问题如下： 项目中某 kafka 消息组消费特别慢，有时候在 kafka manager 控制台看到有些消费者已被踢出消费组。 从服务端日志看到如下信息： 该消费组在短时间内重平衡了 多次。 从 cat 查看得知，每条消息处理都会有 次数据库的交互，经过一番沟通之后，发现每条消息的处理耗时大概率保持在 ms 以上。 Kafka 发生重平衡的有以下几种情况： 消费 ...
2020-01-07 10:20 0 5084 推荐指数：
相关推荐
记一次线上Kafka消息堆积踩坑总结
，与其他业务系统的通信方式采用了第三代消息系统中间件Kafka。由于是第一次使用，踩了很多坑，通过这篇博客和大 ...
记一次kafka莫名其妙关闭问题排查
现象： FT走着走着，就没了；一检查，发现kafka没了 排查： 1. 先复现了一次，拿到server.log [2021-09-14 16:53:07,545] ERROR [KafkaServer id=0] Fatal error during KafkaServer ...
Kafka 异步消息也会阻塞？记一次 Dubbo 频繁超时排查过程
线上某服务 A 调用服务 B 接口完成一次交易，一次晚上的生产变更之后，系统监控发现服务 B 接口频繁超时，后续甚至返回线程池耗尽错误 Thread pool is EXHAUSTED。因为服务 B 依赖外部接口，刚开始误以为外部接口延时导致，所以临时增加服务 B dubbo 线程池线程数量 ...
一次Kafka内存泄露排查经过
一、现象 服务部署后内存总体呈上升趋势 二、排查过程 通过go tool pprof收集了三天内存数据 2月11号数据： 2月14号数据： 2月15号数据： 我们使用sarama客户端连接kafka，可以看到 ...
记录一次问题排查
1. 问题描述：早上刚来上班，业务部门同事反应管理后台无法登录 2. 问题排查定位 2.1 服务器排查 a. 接口是否可以调通：首先自己登陆后台，发现时好时坏，偶尔接口返回【系统忙】。我们系统接口异常调不通会返回系统忙 b. 服务是否死掉或者假死：连接服务器->查看Java ...
RocketMQ消息堆积问题
RocketMQ消息堆积问题 RocketMQ消息堆积主要分为三个层次的问题： 其一是Producer生产速率过快，什么场景呢，比如Producer故障，比如DOS攻击，比如业务高峰（超过企业预估的，例如12306订票，双十一下单，这些一开始的时候都有超过预期的情况）。 其二是Broker消息 ...
RabbitMQ消息堆积问题？
原因： 有时可能因为消费者自身代码问题，导致没办法正常消费消息，那么就会导致消息队列中会堆积大量的消息； 或因为同一时间来了非常多的消息，消费者没办法及时消费，导致消息队列中堆积了大量消息。 解决办法： 1.去优化消费者代码，提高消费能力。减少消费时间 2. ...