010|Kafka、RabbitMQ、RocketMQ 怎么选:从实际业务需求出发
从订单事件、日志与 CDC、长任务、超时提醒、流量削峰和小团队六类场景出发,先明确一致性、回放、并发与维护约束,再选择消息队列,并给出最小验证方法。
先给结论
选型先看“消息承担什么责任”,再看产品名字。要让多个系统反复读取一段事件历史,重点评估保留、独立消费和回放;要把任务交给一个工作进程,重点评估分发、确认、失败重试和并发;要协调数据库状态与消息,先设计一致性流程,换一个 Broker 并不会自动消除业务失败窗口。
Kafka、RabbitMQ、RocketMQ 的能力存在重叠。本文给出的是带前提的选择方法,不是产品性能排名。已有一套经过验证的消息基础设施时,优先检查它是否满足需求,再计算另引入一套的收益与维护成本。
适用范围:已经完成前九篇的一发一收示例,准备给一个普通业务选型的开发者。案例中的规模和时限都是用于说明判断过程的假设,不是本文完成的压测或作者亲历事故数据。Python 示例的具体 SDK 和服务端版本沿用各产品篇;托管服务的限制、收费和功能需要另行核对。
系列位置:消息队列第 10/10 篇,场景选型。
一、先写清楚六个输入条件
在创建 Topic 或 Queue 前,用几句话回答以下问题:
- 消息表示“已经发生的事件”,还是“等待执行的任务”?是否需要多个独立业务各处理一次?
- 平均、峰值消息速率,消息大小,单条处理耗时分别是多少?允许等待多久?
- 消费完成后是否还要保留原消息?需要回放多久以前的数据?
- 允许重复吗?如何避免重复扣款、重复发奖或覆盖新状态?什么情况下可以丢弃?
- 顺序是全局、同一订单还是同一用户范围?一个对象处理失败能否阻塞后面的事件?
- 团队已经维护哪些组件?谁负责升级、容量、告警和恢复?Python 客户端是否支持实际需要的操作?
“不能丢、不能重、速度快”不足以形成架构。更可操作的描述是:订单事件有数据库记录可核对,消费者允许重复接收但业务不能重复加积分,正常一分钟内完成,异常时进入待补偿清单;这样的条件才能转成代码、监控与验收。
二、先分清事件流与工作队列
假设一条订单事件要被搜索、统计、通知三个业务分别处理。它们需要三个独立的消费进度,不能让其中一个成功处理就替另外两个“完成任务”。
订单事件 ──> 搜索订阅:更新索引
├─> 统计订阅:累计指标
└─> 通知订阅:发送提醒
另一个需求是生成一份报表,四个工作进程中任意一个完成即可:
报表任务 ──> 待处理集合 ──> 工作进程 A / B / C / D
每次分配给某个工作进程执行
“独立订阅”与“同一订阅内分工”是不同层次。Kafka 的经典消费组、RabbitMQ 的队列和消费者、RocketMQ 的消费组各有自己的组织方式;不能直接把不同产品里的同名概念画等号。选型前先画这两张关系图,再映射到产品篇中的模型。
三、场景一:支付后发积分、通知和履约事件
假设订单以 MySQL 为事实来源,有三个独立下游,允许短暂延迟,业务要求重复投递不能导致重复发奖。团队已经维护 RabbitMQ,普通业务处理耗时较短。
这里首先要解决的不是换哪种 MQ,而是“数据库提交与发消息之间怎么办”。直接先提交订单再发送,进程可能在中间退出;先发消息再提交,则下游可能看到最终没有成立的订单。
可以从本地事务加 Outbox 开始:
同一数据库事务
1. 更新订单状态
2. 写入待发送事件,分配稳定的 event_id
3. 提交
独立投递进程
4. 读取待发送事件并发送到 MQ
5. 收到符合配置要求的发送确认后,标记已发送
下游事务
6. 用唯一约束原子登记本业务的 event_id,识别已提交的重复事件
7. 执行业务更新并记录处理结果
8. 事务提交后确认消费
Broker 已确认消息,但投递进程在提交“已发送”标记前退出,会再次投递,所以仍要业务幂等。可以用“订阅业务标识+event_id”建立唯一约束,在同一事务内原子登记处理记录并完成本地业务修改;业务失败则一起回滚。只做一次“先查有没有、没有再执行”的判断,并不能阻止并发重复。不同独立业务也不能共享一个只按 event_id 去重的完成标记,否则可能把别的业务尚未处理的事件误判为已完成。单独先提交“已处理”标记再执行业务,则可能把失败误认为成功。投递进程还需要并发领取、超时接管和失败告警,这些属于流程的一部分。Debezium 的 Outbox Event Router 是一种基于变更捕获的实现选择,并非采用 Outbox 就必须部署 Debezium。参考:Outbox Event Router
在这个前提下,可继续用 RabbitMQ,将独立业务映射为各自的队列,并按生产可靠性要求评估 Quorum Queue、发布确认与消费确认。不要把前文单节点 Classic 学习环境直接当成生产部署结论。
如果团队已有 Kafka,且下游还有审计和回放需求,也可以在 Kafka 上实现同样的业务流程;如果已有 RocketMQ,可评估普通消息加 Outbox,或在客户端支持、状态回查可靠的前提下研究事务消息。RocketMQ 事务消息协调的是消息生产与生产侧本地事务,消费侧仍需正确处理失败和重复。参考:RocketMQ 事务消息
验收时至少模拟两件事:数据库提交后投递进程退出;下游事务提交后消费者在确认前退出。两种情况下都应该有办法继续完成业务,并能核对是否重复产生副作用。
四、场景二:日志、埋点或 CDC 交给多个下游
假设消息持续产生,搜索、分析和归档需要各自消费,下游停机后要从原进度追平,未来的新业务还希望读取最近三天数据。此时值得优先评估 Kafka 的分区日志和独立消费进度,并检查现有连接器是否支持来源和目标系统。
这不是“日志只能用 Kafka”。RocketMQ 也有消息保留和重新消费能力,RabbitMQ Streams 也应与普通队列区别考虑。选择时要实际核对保留策略、回放操作、订阅隔离、连接器语义和运维熟悉程度,不能只比较产品名称。
先估算存储,再谈吞吐。假设每秒 2000 条、每条正文 800 字节,保留三天,三副本:
正文速率 = 2000 × 800 = 1,600,000 字节/秒
三天单份正文 = 1,600,000 × 86,400 × 3
三份副本的集群正文合计约 = 1.244 TB(十进制)
这里的三副本表示总共三份,不是原件之外再加三份;1.244 TB 是集群合计,不是每台节点的需求。这只是未压缩正文的估算,不含索引、协议与记录开销、系统预留、重平衡临时空间;实际压缩率也没有测量。不能据此直接申请恰好 1.244 TB 的磁盘,各节点也需根据实际分配单独预留余量。还要测消费者在新消息持续到达时能多快追平。
CDC 也不是连接器启动就结束了。快照与增量衔接、数据库日志保留、删除事件、字段变更以及目标端去重,都可能决定最终方案是否可用。
验收重点是:停一个下游,不影响其他业务各自消费;恢复后可以在保留窗口内追平;重新读取不会污染已有统计或覆盖较新的业务状态。
五、场景三:报表导出、图片处理和 AI 调用
假设网站把耗时操作移到后台,任务可能持续几秒到几分钟,用户希望查询状态,第三方接口可能限流,失败后需要有节制地重试。
Python 团队可先评估 RabbitMQ 的工作队列模式,或评估已有 RocketMQ 的消费能力。Kafka 也可以用于任务处理,但需要明确分区、消费位点与长任务的协调方式,不能把它当成没有进度约束的线程池。
无论选哪种,任务状态都应有清晰的业务记录:待执行、执行中、成功、待重试、最终失败。MQ 负责分发,任务记录负责查询、去重和结果追踪。不要让网页只能通过“队列里有没有这条消息”判断任务是否完成。
消息尽量传任务编号和对象位置,而不是把大图片、报表或完整音频塞进正文。工作进程根据任务编号读取必要数据,结果写入持久存储。
并发应受下游能力限制。假设模型接口只允许有限的在途请求,增加工作进程可能更快触发限流。需要同时决定消费并发、业务请求并发、超时和重试退避。Pika 的 BlockingConnection 还有连接线程和心跳处理要求;长任务不能简单照抄短任务回调再放大耗时。参考:Pika 线程与连接要求
验收重点是:处理进程中途退出后任务可恢复;重投不重复创建结果;第三方超时能够进入结果核对或重试流程;持续失败能被查询和告警。对外部接口造成的副作用,优先使用对方支持的幂等键或结果查询,单靠本地“处理过”的记录并不能消除所有不确定性。
六、场景四:订单超时关闭和预约提醒
假设订单在到期后几秒内关闭即可,用户可能提前支付,提醒也可能改期或取消。先考虑需求到底是“一次到期提醒”,还是完整调度。
已有 RocketMQ 时,可以评估其定时消息能力,但必须查明当前版本与 SDK 的时间范围、精度、配置和限制。消息到期可投递,并不表示业务一定在那个瞬间执行完成。参考:RocketMQ 定时消息
收到到期消息后,应重新读取当前订单状态和截止时间,再有条件地关闭。例如订单已经支付,旧消息应成为无操作;截止时间已改,旧消息不能照原计划执行。通知消息是触发检查的信号,业务事实仍来自数据库。
如果需求规模不大、允许秒级检查、已有 MySQL,可以先评估数据库到期任务加定时扫描:通过合适索引分批领取任务,使用明确的领取期限或锁机制,执行时校验最新状态。它同样需要并发控制、失败重试和扫描延迟监控,不能只写一个无限循环查表就认为完成了调度系统。
如果需求包含频繁改期、取消、重复计划、执行历史和依赖关系,应该把独立调度或工作流系统一起评估,而不是只比较三个 MQ 的功能表。
七、场景五:突发流量能否靠 MQ 扛住
MQ 可以把短时间内到达、暂时处理不完的工作排起来,但队列不会自动增加数据库和下游接口的处理能力。
假设高峰持续 600 秒,生产速率每秒 1000 条,实际消费能力每秒 200 条:
新增积压 = (1000 - 200) × 600 = 480,000 条
若高峰后新消息仍每秒 100 条,消费能力保持每秒 200 条,净追平速度只有每秒 100 条,追平需要约 4800 秒,也就是 80 分钟。这是总体积压恢复到基线的时间,不代表每条任务都等待 80 分钟;若持续消费能力不大于新消息速率,则无法追平。这个简化计算假设速率稳定,实际还要考虑消息大小、失败重试和资源争用。
因此,选型之前先问:业务能接受排队这么久吗?排队中的任务会不会过期?消费者能否扩容,扩容后下游扛得住吗?不同产品的分发与并发模型,会限制增加工作进程的效果。
MQ 也不能代替入口限流、库存约束或数据库事务。请求被接受、消息被确认和业务完成是三种不同状态,接口必须明确向用户返回哪一种。
八、场景六:小团队到底要不要新加 MQ
以个人内容网站为例,如果只是偶尔生成摘要、音频或更新索引,先有一张可恢复的任务记录,再由后台进程领取执行,可能已经满足当前需求。
可以用以下信号决定是否扩大基础设施:
- 需要多个业务独立订阅同一事件;
- 生产与消费的规模和故障需要隔离;
- 存在明确的保留、回放或持续积压要求;
- 当前任务领取方式已出现可测量的数据库争用;
- 团队能够承担新增系统的部署、升级、备份与恢复。
“以后可能增长”不能代替测量;“现在规模小”也不能代替恢复设计。当前方案至少应能回答:重启后任务还在吗,工作进程死掉后谁接手,重复执行有没有副作用,用户从哪里查询结果。
九、做一次足够小的验证再决定
先用实际消息大小和处理逻辑验证一个候选,不必一开始建设大型压测平台:
- 跑通发送、接收、处理成功后的确认,记录完整版本与关键配置。
- 启动两个消费者,观察谁处理哪些消息,验证实际并发是否符合预期。
- 在业务提交与确认之间退出消费者,检查是否重复及如何去重。
- 停止消费者制造一段可控积压,恢复后测量等待和追平时间。
- 模拟持续失败,确认不会无限立即重试,且有人能发现并处理。
生产部署前再补充与业务可靠性目标相符的副本故障和恢复验证。不同候选必须对齐持久化、确认、副本、消息大小与资源条件;单节点学习环境的结果不能作为生产性能排名。
最后写下一段选择记录:当前约束是什么,采用什么,主要代价是什么,哪些变化会触发重新评估。能把这段话讲清楚,选型结果才有后续维护的依据。
参考资料与核对范围
核对日期:2026-10-31。本文的容量和积压数字为明确给定假设下的计算,未宣称完成生产压测;案例为教学场景。
- Debezium Outbox Event Router:了解一种 Outbox 投递实现。
- Kafka 设计文档:查阅经典消费、消息语义与保留设计;链接为明确的 4.1 文档,具体实验参数以产品篇固定版本为准。
- RabbitMQ Queues:区分普通队列与 Streams。
- RabbitMQ Quorum Queues:核对复制与数据安全的适用条件。
- RabbitMQ Consumer Acknowledgements and Publisher Confirms:核对两段确认的责任范围。
- Pika FAQ:核对连接与线程使用要求。
- RocketMQ 事务消息:核对本地事务协调与消费侧责任。
- RocketMQ 定时消息:核对到期投递及限制;该文档为 5.0 系列,不据此推断其他版本的所有默认参数。
记录过程,也留下判断。
← 继续阅读其他文章