异步改造后,为什么会报 Future attached to a different loop?
回顾统一文章消费者的异步改造时,我也重新梳理了 API 和后台任务中的异步资源边界。本文结合项目中可核对的同类修复,解释不同事件循环与已关闭循环的区别,以及常驻服务、临时任务和同步桥接各自应怎样管理客户端与连接池。
回顾统一文章消费者改成协程的过程时,我也回头梳理了项目里出现过的 event loop 问题。异步 I/O 对这类业务很有价值,模型调用、MySQL、ES、Redis 等操作在等待时,可以把执行机会让给其他文章。
但异步化还有一件容易被低估的事:客户端、连接池和后台任务,必须有明确的生命周期。
在项目的异步化和同步、异步代码共存期间,我遇到过这两类错误:
Future attached to a different loop
Event loop is closed
它们的触发点不一定在刚改动的消费者里,API 或其他后台任务也可能遇到。排查时,需要从报错的调用链往回找:当前任务运行在哪个事件循环里,底层连接属于哪个循环,原来的循环又是否已经退出。
这篇适合已经使用 Python 异步客户端,同时还保留同步服务、线程或临时后台任务的项目。核心结论是:可以复用业务逻辑,但不能默认把同一个异步连接或带池客户端,交给不同事件循环使用。
具体哪个接口最先触发,我已经记不清了。能够明确核对的两项修复分别提交于2026年5月26日和6月1日,早于8月16日提交的统一文章消费者全链路异步改造。下面结合这两项历史修复解释处理方式,改造后那次报错的具体入口和日期仍缺少确切记录。
一、为什么消费者的异步改造,还要检查公共服务
原来的项目同时包含 API、消费者和后台任务,很多业务逻辑会在公共 service 中复用。
例如,同样的预警分发能力,既有同步入口,也有原生异步入口。两种入口最终都需要访问数据库,但它们进入异步代码的方式不一样。
原生异步入口可以直接:
await dispatch_alarm(...)
同步代码则需要某种桥接方式,让协程在一个事件循环里执行。问题往往就藏在这里:桥接函数创建了新的 loop,业务 service 却继续使用进程里缓存的异步客户端或连接池。
可以把这种风险简化为:
同步入口第一次调用
→ 创建 loop A
→ 异步连接建立并被连接池保留
→ 调用结束,loop A 关闭
同步入口第二次调用
→ 创建 loop B
→ 从同一个池中取到之前的连接
→ 连接内部仍依赖 loop A
→ 跨 loop 使用,或访问已经关闭的 loop
这是一种机制示意,实际报错位置取决于客户端和驱动。错误可能出现在执行 SQL 时,也可能出现在连接归还、网络读写或关闭资源时。
另外要分清进程边界。API 和消费者如果分别运行在不同进程中,并不会因为导入了同一个 Python 模块,就共享同一个内存中的客户端对象。
它们可能共享的是同一套代码,以及同一种不合适的资源管理方式。因此,两边都出现类似错误,并不说明消费者把自己的连接直接传给了 API。
异步改造扩大了异步调用的范围,也让同步入口、异步入口和公共服务之间的边界更值得检查;但不能只根据“改造之后出现”就认定具体因果。
二、different loop 和 loop is closed,分别在提醒什么
事件循环负责调度任务、等待 I/O,并唤醒具备继续执行条件的协程。
asyncio.Future 表示一个将来才会得到的结果。异步网络库内部通常也会使用 Future、回调、传输对象等机制协调读写。对这类对象来说,所属的事件循环是运行条件的一部分。
Future attached to a different loop 通常说明:当前任务正在一个 loop 中等待,但所等待的 Future 属于另一个 loop。
下面的例子只依赖标准库,可以在独立 Python 3.11 进程中运行,不需要数据库:
import asyncio
owner_loop = asyncio.new_event_loop()
pending = owner_loop.create_future()
async def wait_result():
# pending 属于 owner_loop,当前协程却会运行在另一个 loop。
return await pending
try:
asyncio.run(wait_result())
finally:
pending.cancel()
owner_loop.close()
这里故意保留一个尚未完成的 Future,再让 asyncio.run() 创建的新 loop 去等待它,就会触发不同 loop 的错误。这个例子用于解释机制,不是业务故障的原始堆栈。
Event loop is closed 则说明某个操作仍想使用一个已经关闭的 loop。它可能来自业务继续复用旧客户端,也可能出现在退出时:连接没有及时关闭,等到垃圾回收或清理逻辑执行时,原来的 loop 已经结束了。
这两类错误可以来自同一个生命周期问题,也可能各有原因,不能只看最后一行异常就完全等同。
尤其要留意 asyncio.run()。它适合作为异步程序的顶层入口,会管理并最终关闭这次运行所使用的事件循环;反复调用它,并不是在持续复用同一个循环。Python asyncio.run 文档
如果每次运行内部创建并完整关闭自己的资源,重复调用本身不一定有问题。危险的是 loop 已经按次结束,客户端或池中的连接却被留到下一次使用。
有些客户端会延迟到首次 I/O 才初始化底层资源。因此,“对象在模块导入时创建”与“连接已经绑定 loop”也不总是同一时刻,需要检查具体实现,不能只凭构造函数的位置下结论。
三、常驻 API 和消费者,让资源跟随自己的常驻 loop
对长期运行的 API 或消费者,我更倾向于让资源管理保持直接:
服务进入自己的异步运行生命周期
→ 创建或初始化客户端和连接池
→ 在同一个 loop 内处理请求或消息
→ 停止接收新任务
→ 等待或取消并收拢在途任务
→ await 关闭客户端、释放连接池
→ 退出事件循环
这样既能复用连接,减少反复建连的开销,也能明确谁负责关闭资源。
统一文章异步消费者的实施方案,同样要求在消费者生命周期内创建共享异步资源,退出时逐项等待关闭。对于原生异步主链,应该一路 await,不再绕到同步桥接函数里执行。
这里的“共享”有边界:同一个常驻 loop 内,可以让多个任务复用支持并发调用的客户端或连接池;但一次事务使用的会话,仍应按任务或工作单元管理。
例如,SQLAlchemy 的 AsyncSession 是有状态对象,不能因为大家都在同一个 loop,就让多个并发文章任务同时使用同一个 session。共享引擎和工厂,与共享一份事务会话,是不同的事。SQLAlchemy 并发任务与 AsyncSession
同样,API 主 loop 与另一个后台线程中的 loop,即使位于同一进程,也不能天然共享一个默认异步连接池。SQLAlchemy 官方明确提醒,默认池的 AsyncEngine 不应跨不同 loop 复用。SQLAlchemy 多事件循环说明
我会把资源归属写得更具体:这是 API 生命周期里的客户端,还是消费者生命周期里的客户端?谁能调用它,谁负责收尾?这样公共 service 可以继续复用,而连接的归属不会被一个全局变量掩盖。
四、临时后台任务,要在 loop 退出前把资源一起收走
项目里还有另一种运行方式:某些 Celery 任务会创建自己的临时事件循环,任务执行完,再关闭循环。
它不适合直接照搬常驻服务的全局异步客户端。否则,第一次任务完成后,Python 对象还在,支持它工作的 loop 却已经退出。
仓库中一项能够明确核对的历史修复,针对的正是这类资源生命周期不匹配:
- ES 使用任务作用域内独立的异步客户端。
- 数据库使用任务内创建的异步引擎和会话工厂。
- 数据库引擎采用
NullPool。 - 退出前等待关闭 ES 客户端,并
await task_engine.dispose()。
ES 部分保留了公共的 ESConnection.get_client() 入口,但增加 scoped_client()。进入作用域时创建客户端,并通过 ContextVar 让下层调用优先取得这份客户端;退出时恢复上下文,再等待关闭客户端。
这能减少逐层修改深层服务参数的范围。不过,真正避免复用旧资源的,是“在当前任务中创建、使用并关闭”的整体过程。ContextVar 只负责找到当前上下文中的对象,不会把旧连接变成可任意跨 loop 使用的连接。
如果某个 service 在进入作用域前,已经把旧客户端保存成 self.es,ContextVar 不会替换这个已有引用;还要检查 service 的构造时机,以及它是否重新获取当前客户端。
如果在作用域内启动子任务,还必须在退出前把它们收拢。子任务可能继承上下文,不能让父任务先关掉客户端,子任务却继续访问它。
数据库的 NullPool 则是不保留连接供后续再次借用,每次借还对应连接的打开和关闭。它减少了临时任务之间复用旧连接的风险,但会增加建连成本,不能因此把所有常驻 API 的池也一起关掉。SQLAlchemy NullPool 说明
可以将这类临时任务的结构压缩成下面的示意。业务函数需要使用传入的会话,不能又回到全局会话工厂:
from sqlalchemy.ext.asyncio import async_sessionmaker, create_async_engine
from sqlalchemy.pool import NullPool
async def run_isolated_task(mysql_url, business):
# 引擎和会话工厂只属于这次临时任务。
task_engine = create_async_engine(mysql_url, poolclass=NullPool)
sessions = async_sessionmaker(task_engine, expire_on_commit=False)
try:
# ESConnection 是项目已有的客户端管理器。
async with ESConnection.scoped_client():
async with sessions() as session:
# business 负责业务事务,并等待它启动的子任务结束。
await business(session)
finally:
# 此时 loop 仍在运行,允许执行异步连接清理。
await task_engine.dispose()
这是对项目处理方式的简化示意,省略了具体业务及连接参数,不是可以替换全部任务的通用模板。它能保证的范围,仍取决于下层是否真正使用了这份会话和当前作用域的 ES 客户端。
对常驻服务,保留池并复用;对确实按次创建 loop 的任务,资源也按这次任务收尾。两种方式各有适用范围。
五、同步桥接可以保留,但不能变成异步链路的绕行入口
在渐进改造的项目里,不可能一次把所有同步调用者都改完。
仓库里另一项明确的历史修复,是调整 run_coro_sync():旧实现会根据调用环境直接 asyncio.run(),或在线程中再执行 asyncio.run(),结果是多次调用可能落到不同的临时 loop。
后来改成常驻后台线程运行固定 loop,同步调用通过 asyncio.run_coroutine_threadsafe() 提交协程,并等待返回结果。
这样,经由同一个桥接入口的调用,会统一交给一个持续运行的 loop,不必每次创建并关闭一个循环。
但固定桥接 loop 只解决了这部分调用的执行归属,不能推导出“整个进程的异步资源现在都能共享”。
例如,同一份全局池如果还被 API 主 loop 使用,就仍然需要检查隔离边界。异步入口应直接 await;必须走同步桥接的代码,则应使用归属桥接 loop 的资源,不能把已经在别处使用的 session 或连接带进去。
还有一个容易忽略的问题:桥接函数中的 future.result() 是阻塞等待。如果从 API 的异步事件循环线程直接调用它,等待期间该线程无法继续正常调度其他协程;如果在桥接 loop 自己的线程中调用并等自己的任务,还可能死锁。
因此,我把它理解为兼容旧同步调用者的边界,不把它放回已经原生异步化的文章处理主链。
固定后台 loop 本身也需要退出管理:停止接收提交,处理在途任务,关闭资源,再停止线程。当前工具使用后台 daemon 线程,不能仅凭它能够运行,就宣称优雅退出和资源清理已经全部解决。
这些历史修复说明了不同场景的处理思路,但并不是一份覆盖所有客户端、所有入口的自动隔离机制。当前 ES 管理器仍保留默认全局实例,只有明确进入作用域的调用才会优先使用独立客户端。
六、排查和验证,应该围绕资源的归属来做
看到这类异常后,我会先保留完整堆栈,确认错误来自数据库驱动、HTTP 客户端、ES 传输层,还是某个后台任务。
接下来沿着同一条调用链,记录进程 ID、线程 ID、当前 asyncio.get_running_loop() 的标识,以及客户端实例的标识和创建、关闭位置。不同进程之间不要直接比较对象的数字 ID,也不要把带密码的连接 URL 放进日志。
然后重点查几个位置:
- 是否在每条消息、每次请求或每个同步方法里调用
asyncio.run()。 - 是否存在
new_event_loop()后关闭,但全局客户端继续保留的路径。 - 公共 service 是否缓存了异步客户端,并被多个 loop 调用。
- 一个任务自己的资源,是否被另一个尚未结束的任务继续使用。
- 退出顺序是否让 loop 先结束,再尝试关闭网络连接。
懒加载只能把初始化推迟,不能自动解决归属问题。重启进程可能暂时清空旧连接,也不能证明问题已经消失。nest_asyncio 处理的是另一类嵌套运行问题,不会让原有连接自动变得跨 loop 安全。
验证时,也不能只跑一次正常调用。连接池可能在第一次调用时为空,第二次才借到旧连接,因此至少要覆盖连续执行、并发任务、异常退出和再次启动。
对于临时任务,要确认先关闭客户端和引擎,再关闭 loop;对于常驻服务,要确认同一个生命周期内确实复用了资源,并且不同并发事务使用独立 session;对于同步桥接,要检查原生异步入口没有绕进去阻塞循环。
本文的标准库示例可以复现跨 loop 等待 Future 的机制,但它没有连接 MySQL、ES 或业务队列,不能作为真实客户端隔离已经验收通过的证据。仓库中的这些处理方式,也需要分别核对具体入口,不能仅凭两项历史修复就断言所有调用路径都已经治理完毕。
对我来说,这次排查补上了异步化里很重要的一层认识:async 和 await 决定协作执行的方式,客户端和连接池的归属决定它们能否稳定运行。
当 API、消费者和后台任务共用业务服务时,除了检查有没有阻塞 I/O,也应该明确回答:资源在哪个 loop 中使用,由谁复用,又在什么时候关闭。
记录过程,也留下判断。
← 继续阅读其他文章