006|RabbitMQ 怎么消费:消息分发、Prefetch 与并发处理
分清竞争消费与独立订阅,理解 Prefetch 对未确认投递的限制,再用独立进程扩展 Python 短任务消费者,检查线程、心跳、顺序和业务幂等的边界。
先给结论:RabbitMQ 的订阅消费通常由 Broker 推送消息,Prefetch 限制的是尚未确认的投递数量,不是工作线程数量。对本文的 Python 阻塞消费者,先采用“多个独立进程,每个进程自己的连接和通道”增加短任务处理能力,最容易把并发、确认和退出边界解释清楚。
本文沿用前两篇的 RabbitMQ 4.4.0、Pika 1.4.4、单节点 classic queue 以及 producer.py、consumer.py。适合已经能发消息,想知道为什么消费者忙闲不均、加大 Prefetch 却没有变快的开发者。
下文提供待执行的观察步骤,没有运行真实 Broker,也没有给出实测吞吐。两秒以内的短任务模拟不代表任意长耗时工作的可用方案。
一、消息从队列到消费者,是谁主动发起的
示例消费者调用 basic_consume() 注册订阅,然后由 start_consuming() 处理连接事件和回调。队列有可投递消息、消费者有接收额度时,Broker 会向它投递消息,应用不需要每隔一秒发送一次“有没有消息”的查询。RabbitMQ Consumers
这与 basic_get() 的逐次获取不同。后者适合少量特定操作,不应该因为容易理解就写成高频忙轮询。本文选择订阅式消费,因此讨论的 Prefetch 和分配现象也围绕这条路径展开。
可以把状态变化想成一张工作交接单:
Ready:任务仍在队列等待分配
-> 投递
Unacked:消费者拿到了任务,Broker 还没收到确认
-> ACK
完成本队列的任务责任
应用日志已经打印“开始”,不表示队列积压真正减少了;如果 Unacked 继续增长,说明任务可能被提前分配,却没有完成确认。排查时必须同时观察 Ready、Unacked 和业务完成速率。
二、竞争消费与广播,不是同一个拓扑
同一个工作队列启动多个消费者,它们共同处理这份任务集合。一条消息在一次正常分配中交给其中一个消费者;连接故障或重新入队等条件下,后续还可能再次投递。
如果希望“邮件服务处理一次,积分服务也处理一次”,不应把它们作为同一队列的两个普通消费者。应为两个业务建立各自队列,再通过交换机绑定接收所需事件。否则它们是在分任务,而不是各自收到完整事件集。Exchange 路由模型
“一个队列多消费者”与“一个事件路由到多个队列”都可能出现并行,但业务含义不同。先画清楚谁共享任务、谁需要独立进度,再决定增加消费者还是增加队列,能避免上线后才发现某个服务总是收不到消息。
本文的 mq.demo.failed 只负责隔离失败样本,不参与正常任务的竞争消费。不要为了观察均衡而随手给它启动正常消费者,否则会混淆失败处理与主流程。
三、Prefetch 限制了什么,没限制什么
示例在注册消费者前设置:
# 对随后注册的消费者,限制尚未确认的消息数量。
channel.basic_qos(prefetch_count=1, global_qos=False)
channel.basic_consume("mq.demo.work", on_message_callback=on_message,
auto_ack=False)
在 RabbitMQ 的 AMQP 0-9-1 扩展语义中,这种配置通常分别应用到每个新消费者;prefetch_count=0 表示不设置这个数量上限,不是暂停投递。本文显式采用每消费者额度,不依赖全局 QoS。Consumer Prefetch
Prefetch 为 1,意味着当前这条消息未确认前,该消费者不会再拿到下一条受这个额度控制的投递。改成 20,可以让更多消息提前在途,但本例只有一个按顺序调用的处理回调,不会因此自动出现 20 个并行任务。
额度太小,可能因网络与确认往返让可用处理能力等待;额度过大,则可能增加客户端缓冲、故障后重投量以及任务在消费者之间的倾斜。具体取值应由处理耗时、消息体积、下游容量和实际测量共同决定。
还有一个前提:本例使用手动 ACK。如果改成自动确认,Broker 不会等业务完成再回收投递责任,就失去了依靠“未确认数量”表达真实工作在途量的基础。不能先打开自动 ACK,再指望 Prefetch 保护业务处理能力。确认模式
四、先用独立进程实现可以看懂的并发
最小方案不是在线程里共享一个 Channel,而是启动几份同样的短任务消费者。每份脚本都会自己创建 Connection、Channel 和一个订阅,进程之间不传递连接对象。
先停止已有的普通消费者,确保此时没有带 --fail-once 的故障模拟进程。然后分别在终端 A、B 启动:
# 终端 A
python consumer.py --prefetch 1 --work-seconds 0.2
# 终端 B
python consumer.py --prefetch 1 --work-seconds 0.2
再在终端 C 发送一批独立事件:
python producer.py --count 12
预期两个消费者会输出不同 PID,并共同处理这 12 个 ID;不要要求每个进程一定恰好得到六条,也不要把日志交错当成丢消息。应按事件 ID 统计开始与完成,并结合队列指标核对。
docker exec mq-rabbitmq-demo rabbitmqctl list_queues \
name messages_ready messages_unacknowledged consumers
在没有其他消费者的前提下,工作队列应显示两个订阅;处理完成后,Ready 与 Unacked 应回落。若实验中断后有消息重新投递,先查重并说明故障过程,不应为了得到漂亮数字而忽略重复。
接着停止消费者,分别用 Prefetch 1 与 20 重复相同规模的实验。观察是否出现更明显的提前占用、队列 Unacked 的变化和总完成时间;本例是串行回调,即使提前拿到多条消息,每个进程仍然一次处理一条。
五、为什么不直接把回调交给线程池
线程池可以使用,但它会增加新的责任:哪个线程拥有连接、哪个线程做 ACK、退出时如何等待未完成任务、旧连接断开后如何处理工作结果。
对 Pika 1.4.4 的 BlockingConnection,一般不能跨线程随意操作连接与 Channel;官方提供的 add_callback_threadsafe() 是让其他线程向连接所属线程提交回调的入口。ACK 需要回到正确的连接与通道执行,而不是在任意工作线程调用 basic_ack()。Pika 1.4.4 线程边界
delivery tag 也不是业务事件 ID,它属于相应 Channel 的投递上下文。连接断开再建一个新 Channel,不能拿旧 tag 在新通道上确认;否则可能触发协议错误,也无法代表原业务的处理状态。
本篇不引入线程池,是因为两个独立进程已经能演示竞争消费,并保持每个进程只有一条清晰的确认路径。这个选择不等于进程方案天然适合所有工作量;CPU、内存和数据库连接等成本仍要一起评估。
六、多个进程也解决不了“回调阻塞心跳”
把消费者从一个加到十个,并不会自动解决每个连接自己的 I/O 饥饿。BlockingConnection 仍需要有机会处理网络事件;如果回调长期执行阻塞 HTTP、慢 SQL 或 CPU 密集计算,心跳处理可能被拖住,最终连接被认为失效。RabbitMQ 心跳机制
第一篇把 --work-seconds 限制在 0 到 2 秒,并配置 60 秒心跳,只是为了让短暂停顿可观察,不是一个长任务超时方案。实际业务还必须为 HTTP、数据库与计算任务分别规定截止时间;心跳正常也不证明业务一定有进展。
遇到分钟级、小时级任务,应重新设计 I/O 与执行的分工,例如让连接事件循环持续运行,业务在独立执行单元里完成,再通过安全回调请求确认;同时按队列类型检查消费确认超时,不预设所有类型拥有相同默认值。不要简单关闭心跳,或把回调中的 sleep(0.2) 改成几小时,就认为改造完成。
本系列的基础示例不实现这套长任务框架。需要时可以另开专题,用故障注入证明执行超时、退出和连接失效后的行为,避免一份入门脚本同时承担所有生产职责。
七、并发增加后,顺序与幂等要单独处理
队列的入队次序不等于多个消费者的业务完成次序:消费者 A 拿到第一条后遇到慢查询,消费者 B 可能先完成第二条。重投和重新入队又会进一步改变观察到的处理顺序。队列顺序边界
如果同一订单必须依次处理,应先明确顺序范围,再设计按业务 Key 分流、限制同一条业务链的并行,以及失败是否阻塞后续任务。不能把全站任务都串行化当成没有成本的默认答案,也不能声称 Prefetch 为 1 就能保证多消费者的全局完成顺序。
幂等则解决另一类问题。假设业务数据库已经提交,进程还没来得及 ACK 就退出,这条消息可能再次出现。把“已处理事件 ID”和业务修改放在同一个数据库事务里,并用合适的唯一约束防并发重复,是可以评估的一种方案;把去重标记先单独写入、随后再执行业务,会留下标记成功但业务没完成的窗口。
对于发短信、调用支付等外部副作用,还需目标接口支持幂等键或采用可追踪的业务流程,单靠本地去重表并不能神奇地跨系统提交。示例只打印事件,因此没有替读者实现这些保证。
也不要误用两个字段:message_id 在本例里只是稳定标识,不会让 classic queue 自动去重;redelivered=True 表示一次投递带有重投提示,False 也不能排除生产者重复发送了同一业务事件。
八、调并发时先看哪里卡住
我会先观察业务完成速率、P95/P99 处理时间、Ready、Unacked、消费者数与下游错误。如果 CPU 已满,增加进程可能只是增加争用;如果数据库连接池耗尽,增加 Prefetch 可能只是把等待从队列搬进应用。
退出也应算进设计:停止接新任务、等待或明确中断在途任务、在正确通道确认,再关闭连接。第一篇的 Ctrl+C 只是学习脚本的停止方式;确认前退出可能触发重投,接入真实业务时仍要用幂等和明确的停止流程承接。
可以先用两进程、每进程 Prefetch 1 建立可解释的基线,再逐步改变一个变量。等到能说明“改了什么、预期影响哪一段、观察结果是否吻合”,并发参数才有工程意义。
参考资料与核对说明
核对日期:2026-10-31。适用主线为 RabbitMQ 4.4.0、AMQP 0-9-1、Pika 1.4.4。文中步骤与接口已做静态核对,并发、故障重投和长任务心跳场景尚未实机执行。
- RabbitMQ Consumers
- RabbitMQ Consumer Prefetch
- RabbitMQ Consumer Acknowledgements and Publisher Confirms
- RabbitMQ Exchanges
- RabbitMQ Queues
- RabbitMQ Heartbeats
- Pika 1.4.4 BlockingConnection 源码与接口注释
验证补充:固定版本 SDK 已在 Python 3.10 隔离环境完成安装、导入和方法签名检查,正文 Python 代码语法检查通过;推荐的 Python 3.12 环境及真实 Broker 收发仍需复验。
记录过程,也留下判断。
← 继续阅读其他文章