008|RocketMQ 怎么存消息:消息日志、消费索引与消息清理
从 CommitLog、消费索引和消费组进度理解 RocketMQ 如何保存、定位和清理消息,并区分 ACK、本地刷盘、副本复制与可回放窗口。
**先给结论:**理解 RocketMQ 存储,先分清三件事:消息正文放在哪里,消费者通过什么索引找到正文,消费完成为什么不立刻删除正文。消费确认、刷盘和副本复制,也不是同一件事。
**适用场景与前提:**承接上一篇的 RocketMQ 5.5.0 学习环境,讨论普通消息、本地磁盘存储和文件型 ConsumeQueue 主路径。5.x 还存在 RocksDB 消费索引、分层存储等实现,目录与细节可能不同;本篇只解释快速接入必须理解的结构。文中位置和字节数示例均为示意,不是一次实际运行记录。
系列位置:消息队列第 8/10 篇,RocketMQ 第 2/3 篇。
先从订单消息的保存过程看起
生产者发送的是业务事件,例如:
{"event_id":"evt-1001","order_id":"order-1001","type":"order.created"}
到了 Broker,这条事件需要被编码成存储记录,包含正文和相应元信息。Topic 则提供业务组织方式,消息最终归入其中某条逻辑 Queue。逻辑 Queue 的第 20 条消息,并不意味着磁盘上存在一份只保存这一条 Queue 全部正文的文本文件。消息队列定义
可以先用“正文册+目录页”理解:正文册集中保存完整记录,目录页记录各个业务目录应该指向正文册的什么位置。实际实现依靠二进制日志和索引,而不是逐条打开 JSON 文件。
CommitLog:集中追加消息正文
在本篇选定的存储路径里,一个 Broker 的不同 Topic、不同 Queue 的消息,可以依次追加进 CommitLog。消息到达顺序与它所属的逻辑队列,是两个维度。
CommitLog 中的物理记录(示意)
位置 1000:订单 Topic / Queue 0 / evt-A
位置 1240:通知 Topic / Queue 1 / evt-B
位置 1510:订单 Topic / Queue 0 / evt-C
evt-A 和 evt-C 都属于订单 Queue 0,中间允许夹着通知业务的消息。这样的组织减少了每个逻辑队列分别维护一份正文写入路径的需要。CommitLog 以文件分段管理;“一个日志”不等于“永远增长的一个无限大文件”。
对应用而言,消息正文已经被 Broker 接收、被复制到别处、已经稳定写入存储介质,各自对应不同进度。不能仅凭存储目录里出现一个文件,就断言刚才那条消息已经经受住断电。5.5.0 CommitLog 实现
ConsumeQueue:按逻辑队列定位正文
消费者按某个 Topic、某条 Queue 的位置获取消息时,不适合每次从整个 CommitLog 头部扫描。文件型 ConsumeQueue 为这种读取建立逻辑索引。
延续前面的示意:
订单 Topic / Queue 0 的消费索引
逻辑位置 20 --> CommitLog 物理位置 1000,正文长度等信息
逻辑位置 21 --> CommitLog 物理位置 1510,正文长度等信息
因此读取可以理解为两步:先按逻辑位置查索引,再按索引找到正文。索引的内容与正文不是两份相同的业务消息。
需要牢记的是“消息数据”和“定位数据”的分工。索引的每个字段占多少字节、底层如何维护映射,不是完成首次接入的必要前置。本篇也不把 RocksDB 消费索引实现强行画成相同文件目录;具体部署要核对 storeType 等配置。存储与清理说明、固定版本存储配置
两种位置不要混用
第一种是 CommitLog 的物理位置,回答“完整记录在日志里的哪里”。第二种是 Queue 内的逻辑位置,回答“这条消息在某个队列里排到哪里”。
再加上消费组的进度,就能回答另一个问题:“这个业务已经处理到哪里了?”例如库存登记组和通知组都订阅订单 Topic,它们的处理速度可以完全不同。一个组的处理推进,不应让另一个组立即失去访问这条消息的机会。
订单 Queue 0:20,21,22,23,24 ...
登记组:已处理到某个进度
通知组:处理得更慢
上图只是解释独立进度。使用 5.x SimpleConsumer 时,应用通过获取消息和逐条 ACK 与服务端协作,不需要自行维护一个变量、加一后当作 RocketMQ 的完整确认协议。消费进度管理
ACK 为什么不立即删除消息正文
ACK 表达的是当前消费组针对本次投递的处理结果。物理消息清理则属于存储生命周期,不能简单等同于“有一个消费者成功,就把日志中间一段挖掉”。
这会带来两个直接可观察的结果:消费者全部处理完毕,磁盘占用也不一定立刻回落;不同业务组可以在各自的进度上继续处理。普通消息仍存在且进度调整条件满足时,还可以通过管理操作安排重新消费。普通消息生命周期
一个更有用的排障思路是把两个问题分开:
- 消费积压:当前业务还有多少工作没有完成?
- 存储占用:Broker 还保留了多少消息数据、索引及相关状态?
积压接近零但磁盘仍有占用,不必立即认定消费者 ACK 失效。反过来,消费者还没处理完,也不能把 Broker 当作无限期保存一切数据的归档系统。
保留时间是恢复窗口的一部分
存储按时间和容量等条件清理,消费成功与否并不天然阻止旧数据淘汰。需要回放三天以前的消息,就要让保留策略和磁盘容量支撑这个窗口;仅把业务期望写进说明文档,并不会增加可恢复数据。
假设某系统每小时产生约 1 GiB 消息,准备保留 48 小时。仅正文估算已接近 48 GiB,还没有包括副本、索引、系统消息与余量。如果下游停机两天后才恢复,清理策略可能已经使一部分旧数据不可取。这是一个规划示例,不是产品性能或精确容量公式。
实际清理还受扫描时机、日志分段和磁盘状态影响。不要把“配置了若干小时”理解为每条消息恰好在该秒被删除,也不要把空间紧张时的保护行为当作额外备份。官方清理规则
刷盘、复制和发送确认分别看什么
上一篇把学习 Broker 显式设为 SYNC_FLUSH,方便观察发送确认与本地刷盘之间的关系。与之相对,异步刷盘允许保存路径与稳定落盘之间存在不同的时间窗口。具体发送状态与保证,还要结合 Broker 配置和客户端接口核对。
本例只有一个 Broker,SYNC_FLUSH 不能凭空变出第二份副本。机器、磁盘或学习命名卷整体不可恢复时,本机刷盘无法提供异机恢复能力。反过来,有副本也不意味着每次发送都等待了足够的副本条件。
把异常放到时间线上更容易理解:
客户端发送 --> Broker 接收 --> 按配置完成存储/复制条件 --> 返回结果
|
回包仍可能在网络中丢失
发送异常时先判断这是明确拒绝、可重试错误还是结果不明。再次发送同一业务事件保留相同 event_id,消费端仍按可能重复处理设计。消息 Keys 可以帮助查询追踪,本身不等于数据库唯一约束。存储配置源码、Python Message API
可以自己做的两个观察
先沿用上一篇的容器和 Topic,不去改任何业务数据库。
查看学习存储目录:
docker exec journal-rmq-demo-broker sh -c 'du -sh /home/rocketmq/store; ls -l /home/rocketmq/store'
第一组观察:启动消费者,发送一批不同编号的事件,确认业务登记成功后再看目录。预期不会因为每条 ACK 都立刻删除一段正文文件;命名卷里的占用变化还可能受文件预分配影响,不等于刚发送正文的字节总和。
第二组观察:退出消费者后再发送新消息,然后重新启动同一消费组。预期仍在可用保留范围内的新事件可以继续处理;如果使用全新组,初始位置策略要单独核对,不能把“换组”当作无条件回放全部历史的快捷键。
也可以只重启学习 Broker,检查持久化卷是否仍挂在原路径:
docker restart journal-rmq-demo-broker
这个操作只能观察普通重启,不等价于断电、磁盘丢失或多副本容灾实验。预期行为与实际日志、业务编号计数一起核对,不用截图中的一条成功日志替代完整结论。
本篇需要记住的关系
- Topic 与 Queue 是业务与逻辑组织方式,正文存储还有独立的物理结构。
- CommitLog 保存完整记录,消费索引帮助按逻辑位置找到记录。
- 消费状态属于消费组,ACK 不等于立即物理删除正文。
- 可回放范围受到数据保留与实际存储状态限制。
- 本地刷盘、副本复制、业务成功要分别验证。
上一篇:RocketMQ 快速上手。下一篇:RocketMQ 怎么消费,重点看消费者如何获取消息、如何增加并发以及处理超时的后果。
参考与版本核对
资料核对日期:2026-10-31。以上链接采用 Apache 文档和 5.5.0 固定源码;Python API 的固定包版本为 5.1.2。SDK 已在 Python 3.10 隔离环境完成安装、导入和方法签名检查;目标 Python 3.12 与 Broker 文件观察、重启和清理步骤仍待实机验证。
记录过程,也留下判断。
← 继续阅读其他文章