原文:RocketMQ源码详解 | Broker篇 · 其三:CommitLog、索引、消费队列

概述 上一章中,已经介绍了 Broker 的文件系统的各个层次与部分细节,本章将继续了解在逻辑存储层的三个文件 CommitLog IndexFile ConsumerQueue 的一些细节。文章最后,还会对比下 RocketMQ 和 Kafka 的持久化结构与设计的合理性。 CommitLog 现在,先从 CommitLog 的几个指针开始复习 在上一章 RocketMQ源码详解 Broker篇 ...

2021-11-07 16:31 0 1006 推荐指数:

查看详情

RocketMQ源码详解 | Broker · 其一:线程模型与接收链路

概述 在上一节 RocketMQ源码详解 | Producer · 其二:消息组成、发送链路 中,我们终于将消息发送出了 Producer,在短暂的 tcp 握手后,很快它就会进入目的 Broker。这次我们来自底向上的看下 Broker 端是如何接收然后分发处理消息,同时了解 ...

Sat Oct 30 00:21:00 CST 2021 0 256
rocketMQ(八) rocketMQ 消息队列Offset和CommitLog

一:消息偏移量Offset 1. 什么是offset message queue是无限长的数组,一条消息进来下标就会涨1,下标就是offset,消息在某个MessageQueue里的位置,通 ...

Fri May 15 05:41:00 CST 2020 0 1090
深入理解RocketMQ消费者组、队列Broker,Topic

1、遇到的问题:上测试环境,上次描述的鸟问题又出现了,就是生产者发3条数据,我这边只能收到1条数据。 2、问题解决:   (1)去控制台看我的消费者启动情况,貌似没什么问题 ,   (2)去测试服务器里看日志信息:只有入库的那条是真的接收到了,其余压根就没有接收到,排除入库过程的代码问题 ...

Tue Oct 15 23:06:00 CST 2019 0 3754
RocketMQ源码详解 | Broker · 其五:高可用之主从架构

概述 对于一个消息中间件来讲,高可用功能是极其重要的,RocketMQ 当然也具有其对应的高可用方案。 在 RocketMQ 中,有主从架构和 Dledger 两种高可用方案: 第一种通过主 Broker 将消息发送到从 Broker 实现高可用,在主 Broker IO 压力大或宕机 ...

Sat Dec 18 02:24:00 CST 2021 0 246
RocketMQ源码详解 | Broker · 其四:事务消息、批量消息、延迟消息

概述 在上文中,我们讨论了消费者对于消息拉取的实现,对于 RocketMQ 这个黑盒的心脏部分,我们顺着消息的发送流程已经将其剖析了大半部分。本章我们不妨乘胜追击,接着讨论各种不同的消息的原理与实现。 事务消息 概念 RocketMQ 中的事务消息功能,实际上是 分布式事务中的本地 ...

Sat Nov 20 01:28:00 CST 2021 0 273
再谈 RocketMQ broker busy(实战)

本文将在 RocketMQ 消息发送system busy、broker busy原因分析与解决方案 的基础上,结合生产上的日志尝试再次理解 broker busy 以及探讨解决方案。 首先,broker busy 相关的日志关键字如下: [REJECTREQUEST]system ...

Fri Dec 27 06:05:00 CST 2019 0 828
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM