原文:RocketMQ源碼詳解 | Broker篇 · 其三:CommitLog、索引、消費隊列

概述 上一章中,已經介紹了 Broker 的文件系統的各個層次與部分細節,本章將繼續了解在邏輯存儲層的三個文件 CommitLog IndexFile ConsumerQueue 的一些細節。文章最后,還會對比下 RocketMQ 和 Kafka 的持久化結構與設計的合理性。 CommitLog 現在,先從 CommitLog 的幾個指針開始復習 在上一章 RocketMQ源碼詳解 Broker篇 ...

2021-11-07 16:31 0 1006 推薦指數:

查看詳情

RocketMQ源碼詳解 | Broker · 其一:線程模型與接收鏈路

概述 在上一節 RocketMQ源碼詳解 | Producer · 其二:消息組成、發送鏈路 中,我們終於將消息發送出了 Producer,在短暫的 tcp 握手后,很快它就會進入目的 Broker。這次我們來自底向上的看下 Broker 端是如何接收然后分發處理消息,同時了解 ...

Sat Oct 30 00:21:00 CST 2021 0 256
rocketMQ(八) rocketMQ 消息隊列Offset和CommitLog

一:消息偏移量Offset 1. 什么是offset message queue是無限長的數組,一條消息進來下標就會漲1,下標就是offset,消息在某個MessageQueue里的位置,通 ...

Fri May 15 05:41:00 CST 2020 0 1090
深入理解RocketMQ消費者組、隊列Broker,Topic

1、遇到的問題:上測試環境,上次描述的鳥問題又出現了,就是生產者發3條數據,我這邊只能收到1條數據。 2、問題解決:   (1)去控制台看我的消費者啟動情況,貌似沒什么問題 ,   (2)去測試服務器里看日志信息:只有入庫的那條是真的接收到了,其余壓根就沒有接收到,排除入庫過程的代碼問題 ...

Tue Oct 15 23:06:00 CST 2019 0 3754
RocketMQ源碼詳解 | Broker · 其五:高可用之主從架構

概述 對於一個消息中間件來講,高可用功能是極其重要的,RocketMQ 當然也具有其對應的高可用方案。 在 RocketMQ 中,有主從架構和 Dledger 兩種高可用方案: 第一種通過主 Broker 將消息發送到從 Broker 實現高可用,在主 Broker IO 壓力大或宕機 ...

Sat Dec 18 02:24:00 CST 2021 0 246
RocketMQ源碼詳解 | Broker · 其四:事務消息、批量消息、延遲消息

概述 在上文中,我們討論了消費者對於消息拉取的實現,對於 RocketMQ 這個黑盒的心臟部分,我們順着消息的發送流程已經將其剖析了大半部分。本章我們不妨乘勝追擊,接着討論各種不同的消息的原理與實現。 事務消息 概念 RocketMQ 中的事務消息功能,實際上是 分布式事務中的本地 ...

Sat Nov 20 01:28:00 CST 2021 0 273
再談 RocketMQ broker busy(實戰)

本文將在 RocketMQ 消息發送system busy、broker busy原因分析與解決方案 的基礎上,結合生產上的日志嘗試再次理解 broker busy 以及探討解決方案。 首先,broker busy 相關的日志關鍵字如下: [REJECTREQUEST]system ...

Fri Dec 27 06:05:00 CST 2019 0 828
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM