原文:解决kafka 消息堆积问题的排查及调优

转载自博客: https: blog.csdn.net u article details 一 背景说明 深夜接到客户紧急电话,反馈腾讯云kafka中有大量消息堆积未及时消费。每分钟堆积近 w 条数据。但是查看 ES 监控,各项指标都远还没到性能瓶颈。后天公司就要搞电商促销活动,到时候数据量是现在的至少 倍,这让客户很是着急。这究竟是怎么回事呢 该从何排查才能发现问题所在呢 下面我们一起还原 案发 ...

2022-02-24 21:52 0 2544 推荐指数:

查看详情

一次 kafka 消息堆积问题排查

收到某业务组的小伙伴发来的反馈,具体问题如下: 项目中某 kafka 消息组消费特别慢,有时候在 kafka-manager 控制台看到有些消费者已被踢出消费组。 从服务端日志看到如下信息: 该消费组在短时间内重平衡了 600 多次。 从 cat 查看得知,每条消息处理都会有 4 次数 ...

Tue Jan 07 18:20:00 CST 2020 0 5084
MQ怎么解决消息堆积问题

MQ怎么解决消息堆积问题 网上普通回答 修复consumer的问题,确保其恢复消费速度,然后将现有consumer都停止 临时建立好原先10倍或者20倍的queue数量 然后写一个临时的分发数据的consumer程序,这个程序部署上去消费积压的数据,消费 ...

Sun Dec 20 00:34:00 CST 2020 0 644
浅谈如何解决RocketMQ消息堆积问题

MQ消息堆积是指生产者发送的消息短时间内在Broker端大量堆积,无法被消费者及时消费,从而导致业务功能无法正常使用。 消息堆积常见于以下几种情况: (1)新上线的消费者功能有BUG,消息无法被消费。 (2)消费者实例宕机或因网络问题暂时无法同Broker建立连接。 (3)生产者短时间 ...

Thu Apr 21 22:14:00 CST 2022 0 1493
ElasticSearch篇 11 - 搜索结果震荡问题解决+排查命令

1、震荡问题   搜索同一 query,结果ES返回的顺序却不尽相同,可能会有两个原因导致此问题发生: 这就是请求轮询到不同分片,而未设置排序条件,相同相关性评分情况下,是按照所在 segment 中 ​lucene id 来排序的,相同数据的不同备份之间该 id 是不能保证一致 ...

Tue Aug 11 03:40:00 CST 2020 0 646
RocketMQ消息堆积问题

RocketMQ消息堆积问题 RocketMQ消息堆积主要分为三个层次的问题: 其一是Producer生产速率过快,什么场景呢,比如Producer故障,比如DOS攻击,比如业务高峰(超过企业预估的,例如12306订票,双十一下单,这些一开始的时候都有超过预期的情况)。 其二是Broker消息 ...

Fri Jul 09 20:11:00 CST 2021 0 335
RabbitMQ消息堆积问题

原因: 有时可能因为消费者自身代码问题,导致没办法正常消费消息,那么就会导致消息队列中会堆积大量的消息; 或因为同一时间来了非常多的消息,消费者没办法及时消费,导致消息队列中堆积了大量消息解决办法: 1.去优化消费者代码,提高消费能力。减少消费时间 2. ...

Mon Mar 08 08:00:00 CST 2021 0 617
rabbitmq消息堆积问题

参考博客:https://blog.csdn.net/u014439693/article/details/106898188 有一个学校产生了20万消息堆积,消费者只有 一个,消费速率是每秒一条。堆积原因:全量同步导致瞬时堆积。 关键参数,concurrentConsumers,并发消费数量 ...

Thu Apr 08 23:22:00 CST 2021 0 275
ActiveMQ消息堆积问题

简洁说明: 由于是公司项目,这里简单说下过程。 现象: 业务报表,时报表总数与日报表总数对不上 排查过程: 1.浏览器控制台看是调用的接口,找到对应相关代码 2.报表的记录是其他服务通过ActiveMQ同步过来,找到相关队列 3.进入后台查看服务日志是否有报错,查看服务进程是否还在,由于是老项目 ...

Wed Feb 23 04:21:00 CST 2022 0 890
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM