009|RocketMQ 怎么消费:消息获取、消费组与并发处理

罗兴波发布于
文章摘要

围绕 Python SimpleConsumer 解释消息获取、不可见时间、逐条 ACK 与同组并发,通过多个进程和失败窗口理解重投及业务幂等。

**先给结论:**RocketMQ 的消费并发,取决于客户端模型和服务端分发方式。本系列用 5.x Python SimpleConsumer:程序主动获取消息,业务处理成功后逐条 ACK;同一组的多个实例可以共同承担工作,不可见时间则限制一条消息本次投递的占用窗口。

**适用场景与前提:**承接第 7 篇的 RocketMQ 5.5.0、rocketmq-python-client==5.1.2 和 NORMAL Topic。示例处理时间短、一次最多获取一条,本文先用多个独立进程增加并发,不引入线程池。旧 Remoting 客户端的队列分配方式、FIFO 消息组及其他 SDK 不能直接套用本篇结论。

系列位置:消息队列第 9/10 篇,RocketMQ 第 3/3 篇。

一次消费具体经历什么

SimpleConsumer 的一次循环可以拆成五步:

receive --> 得到消息与投递凭据 --> 处理业务 --> 提交业务事务 --> ack
   |                                                     |
   +-- 暂无消息时等待一段时间                  服务端记录本组处理结果

消息获取和业务完成是不同阶段。receive 返回以后,消息仍可能因进程退出、超时或 ACK 失败而再次出现。程序把任务交给一个后台线程,马上 ACK,再让线程慢慢处理,会制造“队列认为完成,但业务还没完成”的窗口。

PushConsumer 把获取与调度细节更多封装在 SDK 中,由回调返回结果;SimpleConsumer 让应用显式调用获取和确认。名称中的 Push 并不足以说明底层每一跳都完全由服务端主动推送。这里先学会一种模型,不在同一个消费组里随意混合不同模型。官方消费者类型

三个时间参数不要混淆

第 7 篇使用:

config = ClientConfiguration(ENDPOINT, Credentials(), request_timeout=5)
consumer = SimpleConsumer(
    config, GROUP, {TOPIC: FilterExpression()}, await_duration=10, tls_enable=False
)
messages = consumer.receive(1, 60)
  • request_timeout:客户端普通请求的超时基础配置。
  • await_duration:获取没有立即可用消息时的长轮询等待设置。
  • receive 的第二个参数:本次获取消息的不可见时长,单位是秒。

前两个参数涉及网络调用等待;第三个参数涉及消息被取走后,多久没有成功确认就可能重新进入可投递状态。固定版 SDK 会为获取请求结合长轮询设置计算超时,不应把这三者全部写成“消费超时时间”。

一次允许取多少条消息,也不等于同时有多少条业务正在执行。取回十条后用一个 for 循环串行处理,实际仍是一个业务工作流,后面的消息却已开始消耗它们的不可见窗口。Python SimpleConsumer 实现

消费组如何决定“共同处理”与“分别处理”

假设同一个 Topic 有订单事件 E1、E2、E3:

登记组 journal_order_worker
  实例 A:可能拿到 E1、E3
  实例 B:可能拿到 E2

通知组 journal_notice_worker
  自己维护消费状态,独立处理需要的订单事件

实际消息不保证按上面的比例分配。两个消费者同组,表示它们在承担同一个订阅业务;两个不同组,表示不同订阅业务。通知和积分各要处理一遍时,应该建立相应独立组,而不是指望同一个组内每个实例都拿到一份。

对于本文 5.x 普通消息的消息级负载分配,同一 Queue 的不同消息可以被分配到同组的多个实例。不能直接套用“只有四条 Queue,所以最多只能有四个实例干活”的旧式队列独占结论。最终吞吐还受服务端能力、网络、下游和消息类型限制。官方负载分配说明

最简单的并发方式:多个独立进程

先保持单进程代码不变,开两个终端运行第 7 篇的 consumer.py:

# 终端一,在示例目录并激活虚拟环境
RMQ_GROUP=journal_order_worker python consumer.py
# 终端二,同一示例目录与虚拟环境
RMQ_GROUP=journal_order_worker python consumer.py

再用第三个终端连续发送一些不同事件编号:

for n in 1 2 3 4 5 6 7 8 9 10; do
  python producer.py "parallel-demo-$n"
done

预期两边都可能收到消息,但不承诺恰好各五条。每个进程拥有自己的客户端与 SQLite 连接,避免让读者第一次就处理共享连接、跨线程确认和线程池停机问题。

本地两个进程使用同一个 rocketmq_demo.db,用唯一键共享去重结果;SQLite 写入仍有串行化与锁竞争,这不是高吞吐数据库方案。部署到多台机器以后,各机器独立 SQLite 文件不能构成全局去重,应把相同的唯一约束与业务事务放进真正共享的业务数据库。

不可见时间不是永久排他锁

假设一条消息被 A 获取,不可见时间为 60 秒,而业务实际运行 90 秒。到期后,另一实例可能再次取得这条消息;A 的外部任务也未必自动停止,于是两个业务执行可能重叠。

因此需要按处理耗时选择窗口,并留出 ACK 与网络抖动余量。长任务可以在固定版 API 支持范围内续调不可见时间,或者拆成可持久化、可恢复的小步骤;仅把窗口改得极大,会拖慢失败后的重新分配。

SDK 提供 change_invisible_duration(message, seconds),但把它放进定时器并不能自动解决进程暂停、续期失败、业务已超时仍继续执行等问题。首次接入优先让任务短且可重入,后续确有长任务再补完整的续期与恢复设计。重试间隔和最大重试次数也属于消费协议与组策略,不能靠消费者永久跳过错误实现。消费重试机制

业务提交与 ACK 之间为什么仍会重复

第 7 篇代码的顺序是:

插入带唯一 event_id 的业务记录 --> 数据库提交 --> consumer.ack(message)

如果提交后进程退出,数据库已经有结果,Broker 却可能没有收到确认。后续重投时,INSERT OR IGNORE 因唯一键不再新增,程序确认已有处理结果后再 ACK。这解释了为什么“先业务、后确认”仍然需要幂等。

本例的业务动作就是插入一条事件记录。如果真实业务还包括余额更新,应让幂等标记与余额更新处于同一业务事务中;如果是调用外部支付或第三方 API,则需要对方提供幂等键或设计单独的状态协调。不要先写“已处理”,再在另一个事务中执行真正业务。消费组身份

可以自己观察一次这个窗口:

# 先停掉其他演示消费者,再启动带演示等待的版本
RMQ_AFTER_COMMIT_SLEEP=15 python consumer.py

另一个终端发送 python producer.py commit-window-001。看到消费者打印“业务落库”以后,在 15 秒内按 Ctrl+C。然后用普通命令 python consumer.py 重启同一组,等待原投递窗口到期和后续获取。

预期同一个事件可能再次到达,但表内仍是一条。这个实验只验证本地登记示例中的一个窗口,不等于证明所有故障下都不重复或不丢失。

持续失败要有去处

还可以用 RMQ_FAIL_EVENT_ID=poison-demo-001 python consumer.py,然后发送同编号事件。代码会记录失败并不发 ACK,让服务端按本组策略处理后续投递。

第 7 篇建组时显式设置了有限重试次数。达到限制后,需要检查死信与业务补偿流程;去掉失败条件后重启消费者,不意味着已经进入死信的消息一定会自动恢复。生产环境应有失败告警和人工或自动恢复入口,避免“程序还在运行”掩盖了个别事件永久失败。

对于格式不合法的消息,可先持久保存到已约定的隔离位置再确认原消息,但隔离保存本身也必须成功;直接打印错误后 ACK 会失去可恢复依据。对于临时数据库故障,则保留失败结果并等待恢复,避免零间隔自行反复发送制造更多负载。

普通消息不会自动提供业务顺序

即使 E1 先被存入,两个工作进程也可能让 E2 先处理完成。事件到达、投递、业务提交是三个顺序,扩容会使它们更容易不同。

订单状态有先后关系时,先让业务校验状态版本、拒绝过期更新;确实要求同一业务对象严格依次处理,再研究 FIFO Topic、消息组及其失败阻塞规则。不要仅因为事件 JSON 中有 order_id,就认为普通消息自动获得按订单串行的能力。

可以为不同业务组设置不同处理能力,但保持同一组内的订阅一致,并观察处理耗时、待处理量、投递尝试次数和失败数量。只有积压增长而没有这些信息,很难判断该加进程,还是该修数据库慢查询。

读完以后应该能回答的问题

  • 我使用的是哪套 Python SDK、连接哪个服务端入口?
  • 多开一个消费者,是同组共同处理,还是新建一个独立业务订阅?
  • 一次取回的数量,为什么不等于业务并发数?
  • 业务超过不可见时间,为什么可能出现重叠处理?
  • 业务提交以后 ACK 失败,哪条唯一约束能保护实际业务结果?

上一篇:RocketMQ 怎么存消息。下一篇:三种消息队列的实际选型,按业务需求决定是否需要回放、路由、任务确认以及新的运维成本。

参考与版本核对

资料核对日期:2026-10-31。以上官方文档与 Python 5.1.2 固定包 API 已核对;SDK 已在 Python 3.10 隔离环境完成安装、导入和方法签名检查。目标 Python 3.12、文中并发与退出步骤仍是待执行实验,尚未完成目标 Broker 的端到端验证。本文保持 NORMAL 消息与 SimpleConsumer 范围,不把旧客户端模型的结论迁移到本例。

记录过程,也留下判断。

← 继续阅读其他文章