005|RabbitMQ 怎么存消息:存储方式、持久化与消息删除
从单节点 classic queue 拆解拓扑持久、消息持久、发布确认和副本的不同责任,再区分 quorum queues 与 streams,设计可复现的重启与确认实验。
先给结论:RabbitMQ 的“持久化”至少要拆成拓扑是否保留、消息是否持久、生产者何时得到确认、是否存在副本四个问题。它们解决不同风险,不能把 durable=True 理解成消息永不丢失,也不能把组成集群理解成所有队列自动有副本。
本文沿用上一篇的 RabbitMQ 4.4.0、Pika 1.4.4、单节点 classic queue 示例,解释存储和删除;再用 quorum queues、streams 作边界对照。适合已经发出第一条消息,准备判断可靠性配置是否完整的开发者。
文中实验仍为待执行方案,尚未运行 Broker 或制造实际节点故障。下面把可观察的现象与设计判断分开说明。
一、先把“队列还在”和“消息还在”分开
假设服务重启后,管理界面仍能看到队列,但里面的业务消息不见了。这个现象本身并不矛盾,因为队列定义和消息正文不是同一个对象。
上一篇的两个设置分别表达不同意图:
# 声明可在正常节点重启后恢复的队列定义。
channel.queue_declare("mq.demo.failed", durable=True,
arguments={"x-queue-type": "classic"})
# 发布时标记消息持久性。
properties = pika.BasicProperties(delivery_mode=2)
交换机、队列、绑定描述“消息往哪里走”,消息正文与属性描述“这次要处理什么”。持久拓扑保证相应定义具备重启后的恢复条件,并不替代每条消息自己的持久性要求。RabbitMQ Queues
对本例的 classic queue 而言,应把 durable queue、持久消息和发布确认一起考虑。如果只确认队列存在,却不追踪发布结果,业务系统就无法区分“消息还在客户端”“Broker 已接收但回包丢了”和“本次发布被拒绝”。
还要保留一个外层条件:Broker 的数据目录必须确实落在期望的持久存储上。容器内使用了持久队列,不代表删除容器文件系统后仍能恢复;上一篇挂载命名卷并固定主机名,就是为了让这层条件在本机实验中可见。
二、classic queue 不是一个无限增长的内存列表
在 RabbitMQ 4.4 这条主线里,classic queue 是单副本队列,存储实现使用队列索引与消息存储;4.0 已移除更旧的 classic queue v1 实现。Classic Queues
可以用下面的简化模型理解:
队列索引:记录消息在队列中的位置、存储位置等信息
消息存储:保存正文和相应属性
运行时状态:跟踪可投递消息、未确认投递及消费者
这里的“索引”是 Broker 内部存储结构,不是给应用创建的 MySQL 索引。正文具体进入每队列存储还是共享消息存储,受实现与消息大小等因素影响,不能画成“一个队列只有一个正文文件”。
从业务排障角度,更有用的问题是:消息是否仍被队列引用、它是否已经投递但未确认、存储是否出现瓶颈。进程内存、文件缓存和物理磁盘又是不同观察层;仅凭操作系统显示的内存占用或数据目录大小,不能准确判断消息已经处理了多少。
因此,不应通过修改 Broker 内部文件来“修复一条消息”。先用管理指标、日志和受支持的接口定位状态,才有可能给出可重复的恢复步骤。
三、消息的正常生命周期是什么
对上一篇使用的工作队列,可以先按三个阶段理解:
- 消息进入目标队列,等待投递,管理指标中对应 Ready。
- 消息投递给手动确认的消费者,仍未收到确认,对应 Unacked。
- 应用确认后,这条消息不再是该队列的待处理任务,存储实现随后回收相应空间。
“发给消费者”和“从队列逻辑上完成”之间有一道确认边界。如果连接在确认前断开,Broker 可以重新投递,因此 Unacked 不能直接当成已经完成的业务量。
逻辑移除也不等于数据目录会立刻减少恰好一个消息的字节数。内部文件、段和回收时机不与单条 ACK 一一对应。排查积压时,应看消息状态和变化趋势,不能只盯 du 的一个结果。持久化实现说明
更关键的区别是:classic queue 不是“消费完成后还保留七天供任意回放”的日志系统。正常 ACK 完成后,不能假设还能通过另一个消费者重新读到同一条消息。业务审计、重算和补偿如果需要历史数据,应单独设计保留位置。
四、发布确认保护哪一段,复制又保护哪一段
上一篇生产者先设置持久消息,再开启发布确认。这里的作用是让生产者能够获知 Broker 对本次发布承担责任,而不是只知道数据已写入客户端网络缓冲。发布确认机制
假设发布完成后,本地磁盘整块永久损坏。即便此前得到过确认,单副本仍没有另一个节点的数据可供恢复。这不是把确认多等一会儿就能解决的问题,它属于副本和故障域设计。
可以用四个提问检查自己的方案:
- 定义重启后是否还在?检查拓扑的持久性。
- 消息是否满足持久存储要求?检查消息属性、队列类型与相关确认。
- 当前发布结果是否确定?检查确认、路由返回和连接异常处理。
- 保存数据的节点丢失后怎么办?检查复制、成员分布与恢复方案。
还有一种结果不确定:Broker 已提交消息,但确认在网络中丢失。生产者重试可能产生重复,所以“可靠保存”与“业务只执行一次”是两条需要同时设计的线,不能把重发责任全部推给 Broker。
五、quorum queues 和 streams 分别改变了什么
quorum queue 是基于 Raft 的持久复制队列,面向需要副本与高可用的任务消息;生产确认与成员复制进度有关,多数成员是否可用是理解它的关键。Quorum Queues
三副本组通常需要至少两个成员形成多数,但“三个容器”不等于“三个独立故障域”。全部放在一台宿主机,仍无法抵御宿主机整体故障。反过来,单节点也可以创建只有一个成员的 quorum queue 来学习接口,但多数就是一,仍没有跨节点容错能力,不能拿来验证生产高可用。
上一篇的队列类型已经显式固定为 classic。不能把同名队列重新声明为 quorum 来完成在线升级;应使用新的队列名称,制定数据迁移、生产者切换和回滚步骤。本系列的三篇基础文章不会悄悄替换现有实验队列的类型。
Streams 则采用可重复读取的追加日志模型:消费和确认并不等同于工作队列那样的单条完成删除,历史记录能保留多久取决于相应保留策略。它适合需要多个独立读者和回放的需求,但这不表示所有任务队列都应该改成 stream。RabbitMQ Streams
选择时先问业务到底需要“完成一件任务后移除”,还是“保留一个事件供不同读者反复读取”。这个区别通常比先比较某个 API 名称更有价值。
六、过期、拒绝和死信也会改变消息去向
正常消费不是唯一出口。消息可能因 TTL 到期而不再投递,也可能被消费者拒绝且不重新入队;队列还可能受到长度限制。是否转到另一个队列,取决于有没有对应的死信配置。TTL 与过期
上一篇把格式错误的消息通过默认交换机路由到失败队列,便于把坏样本与正常任务分开观察。这里要分清“配置了失败队列”和“具备可靠补偿流程”:失败队列仍需有人监控、分析和决定如何重放。
更不能默认死信转移与原队列删除是一个跨队列业务事务。classic queue 不支持 quorum 特有的 at-least-once dead-lettering;目标不可用等条件下,默认死信转发存在丢失风险。即便换用更可靠的死信策略,也仍应处理重复和最终人工介入。Dead Letter Exchanges
如果一条消息业务上已过期,消费端也应按业务时间和当前状态判断是否继续执行。只配置 Broker TTL,不足以保证所有已经投递或执行中的操作都自动撤销。
七、用两个实验验证,而不是从配置推测
实验只针对本地 mq-rabbitmq-demo,先停止所有消费者。沿用上一篇的虚拟环境和脚本,发布一条有稳定 ID 的持久消息:
python producer.py --message-id durable-before-restart-001
docker exec mq-rabbitmq-demo rabbitmqctl list_queues \
name type durable messages_ready messages_unacknowledged
docker restart mq-rabbitmq-demo
docker exec mq-rabbitmq-demo rabbitmq-diagnostics -q ping
待服务恢复后,再运行同一条 list_queues 命令。预期工作队列仍存在,未消费的样本仍在 Ready;启动消费者后应能读到这个 ID。若实验队列本来已有消息,应记录实验前后的增量,不要把总数误当成这条消息的结果。
这只验证了“同节点、同数据卷、正常重启后恢复”,没有验证突然断电、磁盘损坏或多节点故障切换。尤其 docker restart 不是断电模拟,不应把它写成强故障的测试证据。
第二个实验是正常消费并确认这条消息,然后再次重启并查询。预期已完成的工作消息不会因重启自动恢复成待处理任务。为了避免误判,检查消费者已输出完成、队列的 Unacked 已回落,再执行后续步骤。
如果第一步拿不到发布确认,不应继续宣称“已确认消息重启后丢失”;先把连接错误、无路由和 Broker 拒绝区分出来。验证可靠性时,证据链需要从稳定事件 ID、生产确认、队列状态一直连到消费记录。
八、把检查结果转成工程判断
接入项目前,我会要求团队回答三个问题:我们能承受哪个故障范围内的数据丢失;希望保留多久、由谁重放;生产者和消费者遇到不确定结果时怎么办。只有回答这些问题,durable、confirm、quorum、stream 才有明确的取舍意义。
本文没有给出“持久化开关全部打开就绝不丢”的保证。下一篇继续观察消息如何分给消费者、Prefetch 为什么不是线程数,以及如何在不共享 Pika 连接的前提下增加处理能力。
参考资料与核对说明
核对日期:2026-10-31。本文按 RabbitMQ 4.4 文档解释 4.4.0 示例,使用 Pika 1.4.4;本地重启和复制故障实验尚未执行。
- RabbitMQ Queues
- RabbitMQ Classic Queues
- RabbitMQ Persistence Configuration
- RabbitMQ Consumer Acknowledgements and Publisher Confirms
- RabbitMQ Quorum Queues
- RabbitMQ Streams
- RabbitMQ Time-To-Live and Expiration
- RabbitMQ Dead Letter Exchanges
验证补充:固定版本 SDK 已在 Python 3.10 隔离环境完成安装、导入和方法签名检查,正文 Python 代码语法检查通过;推荐的 Python 3.12 环境及真实 Broker 收发仍需复验。
记录过程,也留下判断。
← 继续阅读其他文章