003|Kafka 怎么消费:消息获取、消费组与并发处理
用多进程消费与提交前失败实验解释 Kafka 拉取、消费组分配和并发上限,识别位点越过失败消息、重复窗口与线程池乱序的风险。
这是消息队列专题第 3 篇,也是 Kafka 小专题第 3 篇。上一篇讲了日志与位点,本篇集中回答:消费者怎么拿到消息,怎么分工,什么时候可以提交进度。下一篇进入 RabbitMQ 小专题。
先看结论、场景与前提
普通 Kafka 消费者通过 Fetch 请求读取分区数据;应用调用 poll() 从客户端获得记录。同一消费组在稳定分配状态下,一个分区只交给一个消费者实例;一个实例可以负责多个分区。分区数量限制的是同组分区所有者的并行数量,不等于业务代码可以随意开多少线程都安全。消费组并发模型
本篇适合已经跑通收发、正在考虑增加消费者或接入耗时业务的读者。沿用 Kafka 4.4.0、confluent-kafka 2.16.1 与第 1 篇两个 Python 脚本,显式使用 group.protocol=classic。本篇不覆盖 Share Groups,也不把其他语言客户端的线程规则套用到 Python SDK。
下面的分配图是示意,不保证哪一个进程一定拿到哪个分区;实验的输出与故障表现需要实际执行确认。请使用学习 Topic 与独立 group.id。
poll 一条,不代表网络每次只拉一条
可以把消费过程分成三层:
Broker 的 Partition 日志
|
| Fetch:带着分区与读取位置,批量获取
v
客户端后台网络处理与本地缓存
|
| consumer.poll(1.0)
v
Python 业务代码拿到一条 Message
|
| 处理完成
v
提交该分区的下次读取位置
Kafka 采用拉取模型,消费者决定从哪里读取。没有新消息时,请求可以等待,客户端也会管理抓取和缓存;poll 返回 None 只是本次等待内没有可交给应用的记录,不能据此断定 Topic 从来没有消息。
confluent-kafka 的 poll() 每次向应用返回一个 Message 或 None,但底层可能已批量获取更多记录。因此“poll 次数”不是网络请求数,“拉到了记录”也不等于业务处理完了。收到 Message 后先检查 error(),再解码与处理。Python Consumer 用法
消费组怎样分工
假设只有一个三分区 Topic:
组 A:用于发送通知
实例 A1 <- Partition 0、Partition 1
实例 A2 <- Partition 2
组 B:用于分析统计
实例 B1 <- Partition 0、Partition 1、Partition 2
组 A 的两个实例分摊工作,组 B 独立读取全部分区。同一个服务需要横向扩容时通常保持 group.id 相同;另一个业务需要独立接收同一批事件时使用不同 group.id。若给每个副本都随机生成组名,会把分摊工作变成多份独立消费。
单 Topic 三分区、同组四个普通消费者时,至多三个实例拥有分区,至少一个没有分区。这里不等于“Kafka 全集群最多三个消费者”,也不意味着每个消费者都只能处理一个分区。成员加入、退出或故障会触发重新分配,短暂等待属于需要观察的正常过程。消费者分配说明
先做一个可以看见的并发实验
先结束第 1 篇消费者,确认 mq-demo-events 仍是三个分区。在三个终端分别进入 kafka-demo 并激活 .venv,运行同一条命令:
GROUP_ID=mq-demo-parallel-01 python consumer.py
另开终端分别向三个分区发送事件:
python producer.py --partition 0
python producer.py --partition 1
python producer.py --partition 2
观察输出中的 pid、partition、offset。新组也可能先读到此前保留的消息,不必把第一行输出误认成本轮刚发送的记录。查看当前组成员与分区分配:
docker exec mq-demo-kafka /opt/kafka/bin/kafka-consumer-groups.sh \
--bootstrap-server kafka:29092 --describe \
--group mq-demo-parallel-01 --members --verbose
再开第四个同组实例,重新查询。预期在稳定后有成员分不到分区;退出一个持有分区的实例,再观察其他成员接管。不要用“某终端暂时没有输出”直接判断客户端坏了,可能只是分配为空或没有新消息。
顺序保证到哪一层
分区内记录有顺序,但三个分区合在一起没有一个统一的 Offset 顺序。把同一个订单的事件稳定放到同一分区,只解决第一步:消费端若把同分区任务任意扔进线程池,后一个任务仍可能先完成。
分区日志顺序:offset 10 -> 11 -> 12
线程实际完成: 11 -> 12 -> 10
如果 11 完成就提交 12:
重启从 12 继续,仍失败的 10 可能被跳过
业务需要同一实体有序时,必须把分区键、分区内调度、失败重试和提交策略连起来。单进程串行处理是容易验证的起点;不要仅凭“Kafka 有分区顺序”承诺最终数据库更新顺序。
增加分区也不应当作无影响开关:对于根据 key 和分区数量路由的应用,映射可能变化;已有业务的顺序假设和消费者负载都要重新评估。本篇先用已有三个分区,不执行修改分区数的操作。
提交的不是最后一条,而是下一条位置
第 1 篇的关键代码如下:
# 必须先让业务处理完成,再推进该分区位点。
committed = consumer.commit(message=message, asynchronous=False)
for partition in committed or []:
if partition.error is not None:
raise KafkaException(partition.error)
传入 message 时,SDK 提交的是该消息 Offset 加一。例如完成 Offset 41 后提交 42,代表下次从 42 继续,不代表 42 已处理。提交是分区级进度标记,不是能单独勾选任意消息的完成清单。commit API
示例同时关闭 enable.auto.commit 与 enable.auto.offset.store,显式传入已处理消息,并同步检查提交结果,便于第一次学习时看清顺序。逐条同步提交会增加往返与开销;如果将来需要批量提交,应先解决“哪些记录已经连续处理完成”和失败时允许重复多少的问题,再调整吞吐。
用一次可控失败理解重复窗口
先停止其他消费者,再向分区 0 新发一条记录:
python producer.py --partition 0
FAIL_BEFORE_COMMIT=1 GROUP_ID=mq-demo-failure-01 python consumer.py
consumer.py 的开关会在打印“处理成功”后、提交前主动抛错并退出。因为新组可能还有更早的保留记录,这次故障针对的是它实际拿到的第一条记录;记下 event_id、partition 与 offset,不要假定它一定是刚发送的那一条。
随后正常重启同一组:
GROUP_ID=mq-demo-failure-01 python consumer.py
在消息仍被保留、位点未提交且没有其他同组实例越过进度的前提下,预期再次看到相同事件。这里展示的正是“业务动作完成,进度没确认”的窗口。若第一遍真的发了短信,第二遍可能再发;消息系统不会自动撤销已经发生的外部操作。
反过来,先提交再处理,会产生另一个窗口:提交成功后进程退出,重启从后面继续,业务可能从未完成。对通常不能丢失处理的业务,优先选择处理后提交,再在业务端承担重复防护,而不是拿提前提交换取表面上没有重复。
处理失败后,为什么不能 catch 后直接 continue
假设 Offset 10 解码失败,程序只打印错误然后继续;11 处理成功并提交 12。重启将从 12 开始,10 已经被业务进度越过。Kafka 保存着原记录,也不代表这段代码会自动回头重试。
本系列最小实现选择停止整个消费者,让未提交的记录留在恢复路径中。代价是同实例负责的其他分区也会停,需要人工修复、告警和重新启动;这是一种容易理解的入门边界,不是完整故障治理方案。
出现稳定失败的脏消息后,不应无限重启形成热循环。后续可以按需求补充有限重试、隔离失败记录和补偿流程,但隔离动作本身成功之前也不能直接推进原消息位点。
想提高并发,先选最容易解释的方案
起步时用多个进程、每个进程持有独立 Consumer,组名相同,进程内按收到的消息串行处理。先确认分区分配,再看处理耗时、各分区积压与业务下游容量。一个热点分区导致落后时,盲目添加没有分区可分的实例不会解决热点。
如果确实需要实例内并发,至少需要有界任务队列、分区内顺序或连续完成追踪、统一提交管理,以及重新分配时对未完成任务的处理。可调用某个 SDK 的线程安全方法,不代表这些业务状态也自动安全;本篇没有实现线程池,也不对其他 KafkaConsumer 类作线程安全断言。
还要留意 max.poll.interval.ms:业务阻塞太久、没有及时继续 poll,可能导致组认为消费者不再正常工作并重新分配,之后提交也可能失败。后台心跳不能替代应用持续推进;先拆分过长任务或设计可控调度,再根据实际处理上限设置参数。librdkafka 消费配置
接入真实业务前的自检
能解释 group.id 为什么这样命名、每个实例拿到哪些分区、进度什么时候提交、失败记录是否会被后续进度越过,以及同一事件重复到来时业务如何处理,就具备了开始接入的基本条件。吞吐不足时,把“消费者没分到分区”“单分区太慢”“业务下游慢”“提交频率过高”分别定位,再决定扩容或改代码。Kafka 监控指标入口
官方参考与核对范围
核对日期:2026-10-31。普通 Consumer、经典组协议、poll 与提交 API 已核对;多进程分配、故障重启及进度变化仍需启动真实 Broker 验证,本文不宣称已实测。
记录过程,也留下判断。
← 继续阅读其他文章