原文:深入理解RocketMQ的消费者组、队列、Broker,Topic

遇到的问题:上测试环境,上次描述的鸟问题又出现了,就是生产者发 条数据,我这边只能收到 条数据。 问题解决: 去控制台看我的消费者启动情况,貌似没什么问题 , 去测试服务器里看日志信息:只有入库的那条是真的接收到了,其余压根就没有接收到,排除入库过程的代码问题。到此,问题只锁定在我的consumer根本没有接收到丢失的那两条消息。 仔细思考一下,发现了问题的根源,看图一的控制台信息,可以发现,生 ...

2019-10-15 15:06 0 3754 推荐指数:

查看详情

深入理解Kafka核心设计及原理(三):消费者

转载请注明出处:https://www.cnblogs.com/zjdxr-up/p/16114877.html   目录:    3.1 消费者消费     3.2 消息消费过程及代码     3.3 消息消费模式     3.4 位移提交     3.5 位移提交过程导致 ...

Fri Apr 08 07:23:00 CST 2022 0 728
RocketMQ源码详解 | Broker篇 · 其三:CommitLog、索引、消费队列

概述 上一章中,已经介绍了 Broker 的文件系统的各个层次与部分细节,本章将继续了解在逻辑存储层的三个文件 CommitLog、IndexFile、ConsumerQueue 的一些细节。文章最后,还会对比下 RocketMQ 和 Kafka 的持久化结构与设计的合理性 ...

Mon Nov 08 00:31:00 CST 2021 0 1006
深入理解阻塞队列

阻塞队列(BlockingQueue)是一个支持两个附加操作的队列。这两个附加的操作是:在队列为空时,获取元素的线程会等待队列变为非空。当队列满时,存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景,生产者是往队列里添加元素的线程,消费者是从队列里拿元素的线程。阻塞队列就是生产者存放 ...

Sun Dec 03 19:24:00 CST 2017 2 3421
RocketMQ 死信队列 | 消费者出现异常如何处理?

RocketMQ 重复消费问题 | 订单系统核心流程引入幂等性机制一文中,我们讨论了消息重复消费的问题,比较好的方案是采用在消费侧使用业务判断法来保证接口的幂等性,这样就能避免消息重复消费的问题。 今天要讨论的是消费者代码执行过程中出现异常,我们应该如何处理? 手动提交 offset ...

Sat Jun 27 23:32:00 CST 2020 1 3975
怎么理解 Kafka 消费者消费之间的关系?

与生产者对应的是消费者,应用程序可以通过 KafkaConsumer 来订阅主题,并从订阅的主题中拉取消息。不过在使用 KafkaConsumer 消费消息之前需要先了解消费者消费的概念,否则无法理解如何使用KafkaConsumer。 今天先讲解消费者消费之间的关系,后续再结合 ...

Fri Jan 29 23:34:00 CST 2021 0 468
RocketMQ 消费者

本文分析 DefaultMQPushConsumer,异步发送消息,多线程消费的情形。 DefaultMQPushConsumerImpl   MQClientInstance 一个客户端进程只有一个 MQClientInstance 实例     MQClientAPIImpl 和 netty ...

Fri Oct 11 19:07:00 CST 2019 0 314
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM