010|Kafka、RabbitMQ、RocketMQ 怎么选:从实际业务需求出发

罗兴波发布于
文章摘要

从订单事件、日志与 CDC、长任务、超时提醒、流量削峰和小团队六类场景出发,先明确一致性、回放、并发与维护约束,再选择消息队列,并给出最小验证方法。

先给结论

选型先看“消息承担什么责任”,再看产品名字。要让多个系统反复读取一段事件历史,重点评估保留、独立消费和回放;要把任务交给一个工作进程,重点评估分发、确认、失败重试和并发;要协调数据库状态与消息,先设计一致性流程,换一个 Broker 并不会自动消除业务失败窗口。

Kafka、RabbitMQ、RocketMQ 的能力存在重叠。本文给出的是带前提的选择方法,不是产品性能排名。已有一套经过验证的消息基础设施时,优先检查它是否满足需求,再计算另引入一套的收益与维护成本。

适用范围:已经完成前九篇的一发一收示例,准备给一个普通业务选型的开发者。案例中的规模和时限都是用于说明判断过程的假设,不是本文完成的压测或作者亲历事故数据。Python 示例的具体 SDK 和服务端版本沿用各产品篇;托管服务的限制、收费和功能需要另行核对。

系列位置:消息队列第 10/10 篇,场景选型。

一、先写清楚六个输入条件

在创建 Topic 或 Queue 前,用几句话回答以下问题:

  1. 消息表示“已经发生的事件”,还是“等待执行的任务”?是否需要多个独立业务各处理一次?
  2. 平均、峰值消息速率,消息大小,单条处理耗时分别是多少?允许等待多久?
  3. 消费完成后是否还要保留原消息?需要回放多久以前的数据?
  4. 允许重复吗?如何避免重复扣款、重复发奖或覆盖新状态?什么情况下可以丢弃?
  5. 顺序是全局、同一订单还是同一用户范围?一个对象处理失败能否阻塞后面的事件?
  6. 团队已经维护哪些组件?谁负责升级、容量、告警和恢复?Python 客户端是否支持实际需要的操作?

“不能丢、不能重、速度快”不足以形成架构。更可操作的描述是:订单事件有数据库记录可核对,消费者允许重复接收但业务不能重复加积分,正常一分钟内完成,异常时进入待补偿清单;这样的条件才能转成代码、监控与验收。

二、先分清事件流与工作队列

假设一条订单事件要被搜索、统计、通知三个业务分别处理。它们需要三个独立的消费进度,不能让其中一个成功处理就替另外两个“完成任务”。

订单事件 ──> 搜索订阅:更新索引
        ├─> 统计订阅:累计指标
        └─> 通知订阅:发送提醒

另一个需求是生成一份报表,四个工作进程中任意一个完成即可:

报表任务 ──> 待处理集合 ──> 工作进程 A / B / C / D
                         每次分配给某个工作进程执行

“独立订阅”与“同一订阅内分工”是不同层次。Kafka 的经典消费组、RabbitMQ 的队列和消费者、RocketMQ 的消费组各有自己的组织方式;不能直接把不同产品里的同名概念画等号。选型前先画这两张关系图,再映射到产品篇中的模型。

三、场景一:支付后发积分、通知和履约事件

假设订单以 MySQL 为事实来源,有三个独立下游,允许短暂延迟,业务要求重复投递不能导致重复发奖。团队已经维护 RabbitMQ,普通业务处理耗时较短。

这里首先要解决的不是换哪种 MQ,而是“数据库提交与发消息之间怎么办”。直接先提交订单再发送,进程可能在中间退出;先发消息再提交,则下游可能看到最终没有成立的订单。

可以从本地事务加 Outbox 开始:

同一数据库事务
  1. 更新订单状态
  2. 写入待发送事件,分配稳定的 event_id
  3. 提交

独立投递进程
  4. 读取待发送事件并发送到 MQ
  5. 收到符合配置要求的发送确认后,标记已发送

下游事务
  6. 用唯一约束原子登记本业务的 event_id,识别已提交的重复事件
  7. 执行业务更新并记录处理结果
  8. 事务提交后确认消费

Broker 已确认消息,但投递进程在提交“已发送”标记前退出,会再次投递,所以仍要业务幂等。可以用“订阅业务标识+event_id”建立唯一约束,在同一事务内原子登记处理记录并完成本地业务修改;业务失败则一起回滚。只做一次“先查有没有、没有再执行”的判断,并不能阻止并发重复。不同独立业务也不能共享一个只按 event_id 去重的完成标记,否则可能把别的业务尚未处理的事件误判为已完成。单独先提交“已处理”标记再执行业务,则可能把失败误认为成功。投递进程还需要并发领取、超时接管和失败告警,这些属于流程的一部分。Debezium 的 Outbox Event Router 是一种基于变更捕获的实现选择,并非采用 Outbox 就必须部署 Debezium。参考:Outbox Event Router

在这个前提下,可继续用 RabbitMQ,将独立业务映射为各自的队列,并按生产可靠性要求评估 Quorum Queue、发布确认与消费确认。不要把前文单节点 Classic 学习环境直接当成生产部署结论。

如果团队已有 Kafka,且下游还有审计和回放需求,也可以在 Kafka 上实现同样的业务流程;如果已有 RocketMQ,可评估普通消息加 Outbox,或在客户端支持、状态回查可靠的前提下研究事务消息。RocketMQ 事务消息协调的是消息生产与生产侧本地事务,消费侧仍需正确处理失败和重复。参考:RocketMQ 事务消息

验收时至少模拟两件事:数据库提交后投递进程退出;下游事务提交后消费者在确认前退出。两种情况下都应该有办法继续完成业务,并能核对是否重复产生副作用。

四、场景二:日志、埋点或 CDC 交给多个下游

假设消息持续产生,搜索、分析和归档需要各自消费,下游停机后要从原进度追平,未来的新业务还希望读取最近三天数据。此时值得优先评估 Kafka 的分区日志和独立消费进度,并检查现有连接器是否支持来源和目标系统。

这不是“日志只能用 Kafka”。RocketMQ 也有消息保留和重新消费能力,RabbitMQ Streams 也应与普通队列区别考虑。选择时要实际核对保留策略、回放操作、订阅隔离、连接器语义和运维熟悉程度,不能只比较产品名称。

先估算存储,再谈吞吐。假设每秒 2000 条、每条正文 800 字节,保留三天,三副本:

正文速率 = 2000 × 800 = 1,600,000 字节/秒
三天单份正文 = 1,600,000 × 86,400 × 3
三份副本的集群正文合计约 = 1.244 TB(十进制)

这里的三副本表示总共三份,不是原件之外再加三份;1.244 TB 是集群合计,不是每台节点的需求。这只是未压缩正文的估算,不含索引、协议与记录开销、系统预留、重平衡临时空间;实际压缩率也没有测量。不能据此直接申请恰好 1.244 TB 的磁盘,各节点也需根据实际分配单独预留余量。还要测消费者在新消息持续到达时能多快追平。

CDC 也不是连接器启动就结束了。快照与增量衔接、数据库日志保留、删除事件、字段变更以及目标端去重,都可能决定最终方案是否可用。

验收重点是:停一个下游,不影响其他业务各自消费;恢复后可以在保留窗口内追平;重新读取不会污染已有统计或覆盖较新的业务状态。

五、场景三:报表导出、图片处理和 AI 调用

假设网站把耗时操作移到后台,任务可能持续几秒到几分钟,用户希望查询状态,第三方接口可能限流,失败后需要有节制地重试。

Python 团队可先评估 RabbitMQ 的工作队列模式,或评估已有 RocketMQ 的消费能力。Kafka 也可以用于任务处理,但需要明确分区、消费位点与长任务的协调方式,不能把它当成没有进度约束的线程池。

无论选哪种,任务状态都应有清晰的业务记录:待执行、执行中、成功、待重试、最终失败。MQ 负责分发,任务记录负责查询、去重和结果追踪。不要让网页只能通过“队列里有没有这条消息”判断任务是否完成。

消息尽量传任务编号和对象位置,而不是把大图片、报表或完整音频塞进正文。工作进程根据任务编号读取必要数据,结果写入持久存储。

并发应受下游能力限制。假设模型接口只允许有限的在途请求,增加工作进程可能更快触发限流。需要同时决定消费并发、业务请求并发、超时和重试退避。Pika 的 BlockingConnection 还有连接线程和心跳处理要求;长任务不能简单照抄短任务回调再放大耗时。参考:Pika 线程与连接要求

验收重点是:处理进程中途退出后任务可恢复;重投不重复创建结果;第三方超时能够进入结果核对或重试流程;持续失败能被查询和告警。对外部接口造成的副作用,优先使用对方支持的幂等键或结果查询,单靠本地“处理过”的记录并不能消除所有不确定性。

六、场景四:订单超时关闭和预约提醒

假设订单在到期后几秒内关闭即可,用户可能提前支付,提醒也可能改期或取消。先考虑需求到底是“一次到期提醒”,还是完整调度。

已有 RocketMQ 时,可以评估其定时消息能力,但必须查明当前版本与 SDK 的时间范围、精度、配置和限制。消息到期可投递,并不表示业务一定在那个瞬间执行完成。参考:RocketMQ 定时消息

收到到期消息后,应重新读取当前订单状态和截止时间,再有条件地关闭。例如订单已经支付,旧消息应成为无操作;截止时间已改,旧消息不能照原计划执行。通知消息是触发检查的信号,业务事实仍来自数据库。

如果需求规模不大、允许秒级检查、已有 MySQL,可以先评估数据库到期任务加定时扫描:通过合适索引分批领取任务,使用明确的领取期限或锁机制,执行时校验最新状态。它同样需要并发控制、失败重试和扫描延迟监控,不能只写一个无限循环查表就认为完成了调度系统。

如果需求包含频繁改期、取消、重复计划、执行历史和依赖关系,应该把独立调度或工作流系统一起评估,而不是只比较三个 MQ 的功能表。

七、场景五:突发流量能否靠 MQ 扛住

MQ 可以把短时间内到达、暂时处理不完的工作排起来,但队列不会自动增加数据库和下游接口的处理能力。

假设高峰持续 600 秒,生产速率每秒 1000 条,实际消费能力每秒 200 条:

新增积压 = (1000 - 200) × 600 = 480,000 条

若高峰后新消息仍每秒 100 条,消费能力保持每秒 200 条,净追平速度只有每秒 100 条,追平需要约 4800 秒,也就是 80 分钟。这是总体积压恢复到基线的时间,不代表每条任务都等待 80 分钟;若持续消费能力不大于新消息速率,则无法追平。这个简化计算假设速率稳定,实际还要考虑消息大小、失败重试和资源争用。

因此,选型之前先问:业务能接受排队这么久吗?排队中的任务会不会过期?消费者能否扩容,扩容后下游扛得住吗?不同产品的分发与并发模型,会限制增加工作进程的效果。

MQ 也不能代替入口限流、库存约束或数据库事务。请求被接受、消息被确认和业务完成是三种不同状态,接口必须明确向用户返回哪一种。

八、场景六:小团队到底要不要新加 MQ

以个人内容网站为例,如果只是偶尔生成摘要、音频或更新索引,先有一张可恢复的任务记录,再由后台进程领取执行,可能已经满足当前需求。

可以用以下信号决定是否扩大基础设施:

  • 需要多个业务独立订阅同一事件;
  • 生产与消费的规模和故障需要隔离;
  • 存在明确的保留、回放或持续积压要求;
  • 当前任务领取方式已出现可测量的数据库争用;
  • 团队能够承担新增系统的部署、升级、备份与恢复。

“以后可能增长”不能代替测量;“现在规模小”也不能代替恢复设计。当前方案至少应能回答:重启后任务还在吗,工作进程死掉后谁接手,重复执行有没有副作用,用户从哪里查询结果。

九、做一次足够小的验证再决定

先用实际消息大小和处理逻辑验证一个候选,不必一开始建设大型压测平台:

  1. 跑通发送、接收、处理成功后的确认,记录完整版本与关键配置。
  2. 启动两个消费者,观察谁处理哪些消息,验证实际并发是否符合预期。
  3. 在业务提交与确认之间退出消费者,检查是否重复及如何去重。
  4. 停止消费者制造一段可控积压,恢复后测量等待和追平时间。
  5. 模拟持续失败,确认不会无限立即重试,且有人能发现并处理。

生产部署前再补充与业务可靠性目标相符的副本故障和恢复验证。不同候选必须对齐持久化、确认、副本、消息大小与资源条件;单节点学习环境的结果不能作为生产性能排名。

最后写下一段选择记录:当前约束是什么,采用什么,主要代价是什么,哪些变化会触发重新评估。能把这段话讲清楚,选型结果才有后续维护的依据。

参考资料与核对范围

核对日期:2026-10-31。本文的容量和积压数字为明确给定假设下的计算,未宣称完成生产压测;案例为教学场景。

记录过程,也留下判断。

← 继续阅读其他文章