从线程池到 asyncio:统一文章消费者的异步化改造

罗兴波发布于 更新于
文章摘要

多机构部署下,多个进程副本叠加线程池,使统一文章消费者的线程数量与内存压力不断增加。本文记录主要网络 I/O 链路的原生异步化,以及配合有界并发、连接复用后,降低进程与线程资源开销的实践和边界。

统一文章消费者的主要耗时来自外部 I/O 等待。把主要网络调用链改为原生异步,再配合有上限的业务并发后,实际运行中的线程和进程资源开销明显降低。

这篇记录统一文章消费者从线程池转向 asyncio 的过程。它适合需要频繁调用模型、数据库、缓存和消息队列的消费链路,也说明为什么异步化要与工作负载、并发控制和资源生命周期一起考虑。

一、多机构部署,把进程和线程的成本放大了

原来的统一文章消费者使用线程池处理文章。对于部分机构,为了满足文章处理量,有时还需要启动多个进程副本,每个进程内部再维护多个工作线程。

随着部署的机构增多,各进程的线程池、连接和运行时状态持续累积,资源管理成本也随之增加。

这里同时有两类资源成本。线程需要自己的执行栈和调度管理;独立进程也有各自的运行时状态、连接和进程内数据。增加线程与副本可以扩大并发,但在多机构部署下,也会不断增加资源需求。

当时需要重新评估的是:这条链路真正需要的并发,是否一定要由这么多业务线程承载?要回答这个问题,首先要看清楚一篇文章在处理过程中,时间主要花在哪里。

二、拆开处理过程:大部分时间都在等外部服务

统一文章处理包含相关性判断、分类和风险分析,还涉及 ES 查询与写入、Redis 状态和配置读取、下游消息投递等。部分相关性执行或评测分支也会访问 MySQL。

这些步骤里,模型本身当然需要计算,但模型运行在远端。对于文章消费者而言,主要是在发出请求后等待返回。数据库、缓存和消息服务的网络访问,也有类似的等待过程。

线程池能够让多个请求并发等待:某个工作线程被 I/O 占住时,其他线程仍可以处理别的文章。因此,原来的方案有明确的作用。问题在于,为了同时承载更多等待中的文章,需要维护更多工作线程。

这条链路没有占主导的本地 CPU 密集任务。JSON 解析、Pydantic 校验、Prompt 拼接、文本清洗、哈希、SimHash 和 Jaccard 等本地计算仍然存在,但主要耗时来自外部服务。

这也是它与手动关键词匹配等场景的区别。需要持续进行本地计算时,要关注 CPU 并行和算法本身;大量时间花在外部等待时,可以重点考虑怎样更轻地管理等待中的任务。

因此,我选择继续使用 Python,把主要网络业务链路改为原生异步,由 asyncio 调度文章处理任务。

三、从工作线程执行,改为事件循环调度协程

原来的模型可以概括为:

Kafka 主线程批量拉取消息
    → 按 topic-partition 放入本地队列
    → 线程池执行同步文章处理
    → 工作线程等待 LLM、Redis、ES 等调用
    → 完成结果送回主线程
    → 按 partition 连续推进 offset

业务处理在线程池中执行,主线程负责拉取、调度和提交。线程池中的任务可能完成得先后不一,提交仍需要遵循各分区的连续边界。

异步改造后,主要模型变为:

AIOKafkaConsumer 异步批量拉取
    → 各 partition 的队列与 worker Task
    → 在全局、分区上限内处理文章
    → await 外部异步调用
    → 等待期间调度其他文章任务
    → 登记结果,连续异步提交 offset

一个进程使用一个主事件循环承载业务并发。当某个协程等待支持异步的 I/O 时,事件循环可以继续推进其他就绪任务。等待中的文章仍保存自己的执行状态,但不需要逐条占用一个业务工作线程。

这里的并发是多篇文章的执行过程交错推进,不是让一个 Python 事件循环同时执行多段本地 CPU 计算。协程需要及时让出执行权;如果其中夹入一个长时间阻塞的同步调用,其他任务也会受到影响。这个机制在 Python asyncio 开发说明 中有明确说明。

因此,目标不只是把入口写成 async def,而是让主要等待点真正能够异步挂起。这样才有机会用较少的业务线程,维持所需的 I/O 并发。

四、异步化要沿调用链走到底

最需要花精力的部分,是从消费者入口向下梳理每一类外部调用,确认调用方和客户端使用的是同一套异步执行方式。

Kafka 拉取和提交采用 AIOKafkaConsumer,主要下游消息投递使用异步 Producer;LLM 与 Embedding 使用 AsyncOpenAI 等异步接口,HTTP 请求采用 httpx.AsyncClient;Redis 使用 redis.asyncio,ES 使用 AsyncElasticsearch;实际涉及 MySQL 的分支使用 SQLAlchemy AsyncSession。

这些名字并不是改造的终点。还需要继续检查:业务 service 是否真正 await 了结果,异常处理是否包含阻塞等待,后处理有没有重新进入同步客户端,退出时连接是否正确关闭。

如果只是给同步调用外面套一层 async def,底层依旧阻塞,事件循环仍然要等它完成。在业务线程池里,一个线程等待可能只占住一个工作名额;在事件循环里,一个阻塞操作可能影响整批协程。

与此同时,异步化要保留业务依赖。例如相关性判断未通过时,文章可以提前结束后续分析;通过后,再执行所需的分类和风险分析。不能为了让代码看起来更并行,就把这些步骤全部一起发出去,否则原本可以跳过的请求也会产生费用和下游压力。

所以,我把两层关系分开:同一篇文章内部,按业务依赖执行;不同文章之间,在资源上限内并发推进。纯内存的字段转换和校验继续使用普通函数,不需要为了形式统一全部改成协程。

本文讨论的是主要网络 I/O 业务链路的异步化。目前仍有一些边界:手动关键词投递旁路采用非阻塞投递配合后台轮询线程;少量离线冻结证据读取使用线程桥接;配置首次读取和日志输出也存在同步行为。主业务线程池已经移出这条执行链,但整个进程并非绝对无线程。

五、单进程承载并发,也要守住处理上限

协程降低等待的管理成本,并不改变模型服务、数据库和消息服务的承载能力。可以创建很多任务,不代表应该同时放出很多请求。

当前消费者同时控制全进程处理文章数与单 partition 并发数。文章任务需要取得处理名额,再进入业务调用。排队数据达到水位时,通过背压控制继续拉取,避免内存中的消息持续增长。

连接池也需要与这些上限配合。并发放得很大,连接池却很小,任务会堆在连接等待上;大量请求同时进入模型或 ES,又可能引发限流和超时。并发任务、连接资源和下游容量,需要放在一起看。

连接资源的生命周期同样重要。我把主要异步 HTTP、Redis、ES 和 Kafka 连接资源在进程内复用,减少逐篇文章重复建立连接的开销;同时为外部请求和任务执行设置超时,并在停机时回收任务与连接。

这次改造还配合了同一个 partition 内的有限并发。分区数量有限时,一个分区只处理一篇文章,会让后面的消息长时间等待。允许同一分区中的多篇独立文章有界并发,可以进一步使用单进程的处理容量。

但这项能力与 asyncio 是两个问题。原来的线程池版本已经支持分区内有限并发,异步改造保留了它的调度与提交语义。执行载体从线程变为协程,并不会自动解决 offset 的乱序完成问题。

同一分区的后续文章即使先完成,也要登记结果,再按连续可提交的范围推进 offset。发生分区重平衡、任务失败或停机时,还需要维护好处理归属和未提交状态。aiokafka 消费文档 也专门说明了手动提交和重平衡的配合。

分区内有限并发、连续提交以及背压,可以结合对应文章继续阅读。本篇先保留一个重点:协程负责更轻地等待 I/O,调度器负责限制有多少文章同时进入处理。

六、实际变化,以及适用范围

改造后,在当时的机构负载下,较少的进程与业务线程便能够承接处理量,实际运行中的线程和内存开销都明显降低。

这部分收益需要分开理解。主要业务并发改由协程调度,减少了大量工作线程的需求;同时,满足单个机构处理量所需的进程副本减少,也减少了多份进程运行时状态和资源。分区内有限并发则帮助单进程在分区数量有限时,继续调度多篇独立文章。

这些变化是组合改造后的实际观察,不能把全部内存变化都归到线程栈上。后续评估时,我会同时关注进程数、线程数、容器内存、消费积压、处理吞吐和下游错误,判断资源节省是否伴随着稳定的业务交付。

异步化也不会直接缩短远端模型本身的响应时间。一篇文章仍然要等待它所依赖的分析结果。改造主要改变的是:这段等待期间,当前进程还能够推进多少其他文章,以及为此需要维护多少业务线程和副本。

一个进程足以承载当前业务量,也不等于所有部署都必须只保留一个副本。实际部署仍需要根据机构负载、下游容量和可用性要求安排。客户端自身的后台线程、其他旁路任务,以及本地计算的开销,也仍需要持续观察。

这次实践让我更加明确:选执行模型,要先看工作负载。对于主要时间花在远端 I/O 的统一文章消费者,Python 协程能够发挥作用;结合有界调度、连接复用和正确的提交边界,才能把这种能力转化成多机构部署中的资源收益。

记录过程,也留下判断。

← 继续阅读其他文章