Kafka 分区不够时,如何实现分区内有限并发
分区数量有限时,可以由同一个消费者在分区内部有界并发处理独立文章。本文结合统一文章消费者,说明两级并发上限、乱序完成与连续提交、未提交数据背压,以及失败、重平衡和幂等边界。
统一文章消费者的大部分时间都在等待远端模型、数据库和消息服务。如果一个 partition 始终只处理一篇文章,即使进程还有余力,后面的文章也只能排队。我在消费者内部增加了分区内有限并发,让多篇相互独立的文章同时推进,并通过连续提交、背压和归属检查维护处理边界。
这篇承接前一篇异步化改造,重点讨论任务怎样调度、结果怎样提交。分区内并发在原来的线程池版本中已经存在,异步版本保留了这套能力。协程解决等待时的资源管理,调度机制决定同时允许多少篇文章进入处理。
一、分区数量限制的,究竟是哪一层并发
统一文章链路需要调用模型判断相关性、分类和风险,还要访问 ES、Redis 等服务。单篇文章等待外部结果时,其他独立文章通常可以继续处理。
如果消费者采用每个 partition 串行处理的方式,可同时推进的文章数量会受到当前活跃分区数量的限制。分区较少,或者消息集中到少数热点分区时,增加进程内部的工作名额也未必能够使用起来。
这里需要分清 Kafka 的分区归属和应用内的任务调度。同一个 consumer group 内,一个 partition 仍然由一个 consumer 成员负责。这个 consumer 可以把拉到的多条消息,交给内部多个业务任务处理。增加的是应用处理并发,分区所有权和消息原有路由没有变化。
KafkaConsumer 官方文档 也介绍了把消息消费与业务处理解耦的方式。采用这种模型以后,应用需要自行维护处理进度、提交位置及分区撤销时的协调。
对于我的文章分析场景,这个方向适合缓解大量 I/O 等待。但前提是文章之间没有必须严格执行的先后依赖;同一分区内允许并发以后,业务完成顺序就可能变化。
二、用两层上限,控制真正进入处理的任务
当前模型会先按 topic-partition 保存消息,再由各分区的有限 worker 领取任务,所有分区共享全进程处理名额。
Kafka 拉取,按原 partition 入队
├─ P0 队列 → 有限 worker Task ─┐
├─ P1 队列 → 有限 worker Task ─┼→ 共享全局处理上限
└─ P2 队列 → 有限 worker Task ─┘ ↓
执行文章业务处理
我把并发控制分成两层:
- 全局上限,决定这个进程最多同时处理多少篇文章。
- 单 partition 上限,决定一个分区最多同时处理多少篇文章。
对应的主参数分别是 UNIFIED_ARTICLE_MAX_INFLIGHT_MESSAGES 和 UNIFIED_ARTICLE_PER_PARTITION_LIMIT。文章要取得处理名额,才能进入业务调用。
下面只是配置机制的示意,并非实际部署参数:假设当前进程分配到四个分区,全局上限设为 32,单分区上限设为 8,那么每个分区最多八篇,进程合计最多 32 篇处于处理中。如果某个分区没有消息,它的名额不会自动让另一个分区突破单分区上限。
参数组合也需要看清。两项都不配置时,默认每个分区一篇,全局上限等于当前分配的分区数;只配置全局上限时,按分区数做整数均分,每分区至少一个名额,但始终受全局上限约束;只配置单分区上限时,全局上限随分配分区数相乘;两项都配置时,再用单分区配置截断均分结果。
因此,这些数值代表上限,不能直接当作实际吞吐。活跃分区分布、取整结果、连接池容量和下游响应都会影响实际使用情况,分区重新分配后也需要重新计算有效上限。
并发值应结合外部服务容量调整。让更多文章同时等待模型,可能提高进程利用率,也可能把压力转移给模型限流、ES 或数据库连接池。
三、允许乱序完成,提交位置仍然连续推进
分区内串行时,处理顺序和完成顺序比较容易对应。允许并发以后,后来的文章可能先完成。
假设本地接下来需要处理的 offset 是 100、101、102,三条都已经开始执行。100 的模型响应较慢,101、102 先结束:
时刻一:100 处理中,101 可提交,102 可提交
→ 记录 101、102 的结果,提交边界仍停在 100 之前
时刻二:100 也达到可提交状态
→ 100、101、102 形成连续可提交区间
→ 向 Kafka 提交位置 103
Kafka 提交的位置表示恢复消费时的下一条位置,所以最后可提交消息是 102 时,提交值为 103。aiokafka 消费说明 对手动提交的位置语义也有说明。
如果 101 一完成,就直接提交 102,那么消费者重启或分区重新分配后,100 可能被提交位置越过。它原本尚未完成,却失去了正常重放的机会。
因此,我为每个 partition 维护完成状态和已提交边界。任务完成时先登记;提交阶段应沿已拉取记录的顺序检查,只推进从最早未提交记录开始的可提交前缀。不同分区分别维护自己的边界,一个分区的缺口不会直接改变另一个分区的提交位置。
这里的连续指已拉取记录的顺序。Kafka offset 可能因日志压缩或事务过滤而跳号,恢复位置也应结合已取得的记录理解。本次源码核对发现,现有提交循环仍按 offset 整数加一推进,对跳号场景的处理尚需修正和专项验证。本文以完成前缀说明提交原则,运行实现还需要按这一边界继续核对。
提交请求本身也可能失败。此时要保留已经登记的结果,再安排提交重试;只有提交成功,才能推进本地已提交位置并释放相应记录。否则,网络故障会让应用失去对处理进度的准确描述。
四、处理成功、允许提交和业务顺序需要分别看
上面的例子使用“可提交”,因为业务处理成功与允许提交并非总是同一个判断。
当前结果中分别记录处理是否成功,以及是否允许提交。某些普通业务错误会按既定策略记录后放行;需要恢复的相关性任务则可能进入等待或重试状态。连续提交依据的是允许提交的结果,不能笼统地写成所有错误都阻断,也不能认为所有错误都会自动重试。
这些策略需要在业务层明确。是否重试、什么时候允许推进,关系到某篇文章是否还会被处理。并发调度器负责执行边界,无法替业务决定错误是否可以忽略。
另一个边界是外部操作顺序。101 先完成时,它可能已经写入数据库或发送下游消息。把 offset 暂时留在 100 之前,并不能让这些已经发生的操作重新按照 100、101、102 的顺序执行。
因此,分区内有限并发适合相互独立的文章分析。对于必须按先后顺序更新的状态,需要保持串行,或按真正存在依赖的业务键进行协调。Kafka 分区有序到达、业务有序执行和提交位置有序推进,是需要分别设计的事情。
重放也仍然可能发生。例如外部写入已经完成,Kafka 提交却未成功,进程随后退出,恢复后这条文章可能再次进入处理。稳定的文章标识、重复检测和幂等更新仍然必要,不能用连续提交代替它们。
五、背压要覆盖排队、在途和已完成未提交的数据
限制同时处理的任务数,还不足以控制整个进程的资源占用。Kafka 可以持续拉取,业务任务也可能持续完成,但前面的提交缺口没有消失。
假设 100 长时间未达到可提交状态,后续文章不断处理完成。如果只统计排队条数,队列看起来可能很短,已经完成但无法提交的结果却越来越多。这些结果和进度信息同样需要占用内存。
因此,当前统一文章消费者除了关注本地队列条数和消息字节数,也把尚未提交的数据纳入水位:包括排队、在途,以及完成后仍等待前方缺口的数据。新的相关性处理分支还会限制未提交跨度,避免一条慢任务后面不断积累结果。
水位达到高位时暂停对应消费拉取,下降到低位后再恢复。高低水位分开,可以减少在阈值附近反复暂停、恢复的抖动。背压保留了处理能力,也让任务增长受到约束。
这里暂停的是消费者的继续拉取,生产者仍可能继续写入,消息可以继续在 Kafka 中积压。背压把等待留在队列系统中,帮助应用控制本地缓存规模;统计的消息字节也不等于进程全部内存,客户端缓冲、对象和连接资源仍需要观察。
排队、处理中、已完成未提交应分别监控。仅看成功计数,可能发现任务在完成;同时看最老未提交位置和积压,才能发现系统实际无法向前推进。
六、重平衡和停机时,继续维护好处理归属
消费者增加副本、退出或发生故障时,partition 可能重新分配。分区撤销后,旧 owner 需要停止继续调度,并处理已经领取的任务。
当前实现会更新分区归属和 generation,有限等待在途任务,尝试提交连续可提交区间,再取消、清理剩余 worker 和本地状态。迟到的旧任务结果,也需要校验是否仍属于当前这一次分配,避免旧执行覆盖新的处理进度。
等待和取消有边界。已经发送的外部请求、已经写入的文章或已经投递的消息,不能靠取消协程自动撤销。未提交的任务可能交给新的 owner 重放,所以退出清理、归属隔离和业务幂等需要配合。
这也是我把这部分独立成篇的原因。把同一分区的多个任务同时启动,代码可以很短;要让它持续运行,还需要处理完成记录、提交失败、背压、错误策略和生命周期。
结合前一篇异步化改造,在目前单个机构的业务量下,一个进程已经能够承载所需处理量,线程数和内存占用也明显下降。这是执行方式与有界调度共同作用的实际观察,不能仅凭分区内并发配置推算出固定的性能提升比例。
后续运行中,我会关注 Kafka 积压、实际在途任务、最老未提交位置、排队与未提交字节数,以及下游超时、限流和提交重试。这些指标可以帮助区分:处理名额不够、下游变慢,还是前方存在无法推进的提交缺口。
分区内有限并发提供了一个应用层的调度空间。使用它时,需要同时明确文章是否独立、下游能够承受多少请求,以及进程在失败和重放后如何继续工作。把这些边界维护好,增加的并发才有机会转化为稳定的处理能力。
记录过程,也留下判断。
← 继续阅读其他文章