任务只是在等待,为什么数据库连接池却被占满?

罗兴波发布于 更新于
文章摘要

热榜任务完成数据库操作后,仍带着事务等待前序发布,导致等待者继续占用连接。本文结合真实修复,说明 await、Session 与事务生命周期的区别,怎样在正确边界释放连接,以及只读回滚、连接排查和业务一致性的注意点。

任务已经完成了数据库操作,接下来只是在等前面的任务,为什么连接池还会被占满?

在一条热榜处理链路中,我遇到过这样一个问题:同一机构的关键词任务可以并发执行,但发往下游 Event 阶段的消息需要按本地序号发起发布。后面的任务先做完,就要等待前面的任务推进。

等待本身没有问题,问题在于等待开始时,之前使用的数据库事务还没有结束。协程虽然暂停了执行,连接却仍然被它占着。

最后的修复很小:在这个明确的业务边界上,先提交已完成的数据库状态,再等待发布顺序。这篇记录这个问题的原因,以及我后来怎样判断一段等待是否应该继续持有数据库资源。

一、后面的任务先完成,却占着连接等待前面的任务

热榜流程需要先完成关键词抽取等工作,再把结果交给 Event 判断和归并。

为了利用 I/O 等待时间,同一机构可以同时处理多个任务。但下游消息的发起顺序仍然需要协调,不能仅根据哪个任务先完成抽取来决定。

项目用 CustomerOrderState 记录本地序号,通过 asyncio.Condition 等待前序完成。于是,后序任务可能先处理完自己的数据,然后停在 wait_turn()。

把原来的执行过程展开,就容易看见问题:

任务 A:执行中,尚未推进到下游发布
任务 B:数据库操作已做完 → 持有事务 → 等待 A
任务 C:数据库操作已做完 → 持有事务 → 等待 A
任务 D:需要数据库连接 → 等待连接池

这只是机制示意,不是某次线上任务数量或故障时长的统计。

B、C 此时没有继续执行 SQL,却可能仍然占着连接。如果越来越多的后序任务进入这种状态,池中的可用连接就会减少。前面的任务如果还需要访问数据库,推进也可能受到影响。

这类问题不能只看“哪条 SQL 最慢”。单条查询可能早已返回,连接的持有时间却一直延续到顺序等待结束。

它也不一定是连接永远没有释放的泄漏。即使任务最终会归还资源,只要等待期间占用过多,并发高时仍然可能耗尽池的可用额度。

二、await 让出执行机会,不会替我结束事务

排查这个问题时,需要把三个对象分开:Session、数据库事务,以及从连接池借出的连接。

创建一个 AsyncSession,通常不代表立即拿走一条物理连接。在项目这种 Session 绑定 Engine 的常见用法中,连接通常在实际执行 SQL 时按需取得。Session 的事务状态与物理连接借出时点仍需区分;已经取得连接参与的事务,需要在适当边界提交、回滚或关闭会话资源。SQLAlchemy Session 说明

因此,查询完成和事务结束有不同含义。

即使当前阶段只有 SELECT,在普通事务模式下,SQL 返回以后,Session 也可能仍处于事务中。它不会因为业务代码接下来不再查询,就自动推断“这条连接可以归还了”。

await condition.wait()、等待信号量或远程响应,会让事件循环继续执行其他任务,但不会顺便提交或回滚当前事务。

这也解释了为什么把代码全部改成异步,并不能自动消除连接池问题。异步让更多任务有机会同时推进,如果资源持有范围没有一起调整,也可能让更多任务同时带着连接进入等待。

使用 async with AsyncSessionLocal() as db 有助于在退出作用域时清理资源,但如果整个远程调用和排队过程都放在这个作用域内,中途仍然可能长时间持有事务。

需要检查的是资源何时归还,而不只是最后有没有写一个上下文管理器。

三、修复位置很小,前提是这里确实可以提交

对应的历史修复,发生在 _publish_event_message() 进入顺序等待之前。下面是方法中的关键片段:

if customer_order_state is not None and isinstance(customer_sequence, int):
    # 顺序等待期间不持有关键词任务的数据库事务。
    await db.commit()
    await customer_order_state.wait_turn(customer_sequence)

修改后,这段已经完成的业务状态先提交。对本例的普通 Engine 绑定 Session 来说,事务结束后,相关连接可以归还池中,再进入本地顺序等待。

顺序要求仍然保留:后序任务依旧要等前序推进,才能发起下游发布。改变的是等待期间持有的资源。

但这段代码不能直接推广成“每遇到一个 await,就先 commit”。

commit() 会提交当前事务中的修改。如果几个写入必须保持原子性,在中间随意提交,会把原本一个整体拆开。后半段失败时,前半段已经无法靠同一次 rollback 撤销。

所以,判断能不能提前结束事务,首先要回答:这一阶段需要一起成功的数据库操作,是否已经完成?后面的等待是否仍需要依赖当前事务的锁和快照?

本项目的会话工厂使用 expire_on_commit=False,提交后可以继续访问已经加载的对象属性。但这不代表所有后续读取都不会再访问数据库;新的 SQL、未加载的关联等,仍然需要单独检查。

在更复杂的流程里,我更愿意把等待所需的标识和值整理成普通数据,明确结束当前数据库阶段,再进入后续等待,避免无意中通过 ORM 对象重新开启数据库访问。

四、只读查询后的等待,可以采用另一种边界

项目里还有一个相邻例子:算法平台的人工相关性投放。

这个入口先查询可投放的记录,核对预览条件,并把选中项整理成普通字典。接下来要初始化 Kafka Producer,再受控并发地发送消息。

这段查询没有需要保留的业务写入,因此代码在查询和整理完成后调用 await db.rollback(),结束只读事务,再进入 Producer、并发名额和 Kafka 发送的等待。

两个例子的目标相近,使用的操作却不能机械统一:

  • 已完成且应当保存的业务写入,在适当边界提交。
  • 不需要保留修改的只读阶段,可以结束事务并释放资源。
  • 发生异常的事务,应按错误处理规则回滚和清理。

需要特别注意的是,rollback 也有业务含义。不能在一个混有待保存写入的 Session 上,看到“接下来是查询以外的工作”,就直接把修改一起丢掉。

事务结束后,数据也可能被其他任务改变。等待完成后如果还要进行业务写入,需要根据当前条件重新读取和校验,不能把等待前的内存对象天然当作最新事实。

另外,数据库提交与 Kafka 发送并不是同一个原子操作。把事务拆短之后,投递失败、重复发送和后续补偿仍然需要维护;不能为了释放连接,就忽略这些业务边界。

并发任务也应该分别使用各自的 Session,不能为了少建对象,就把同一个 AsyncSession 交给多个协程同时操作。SQLAlchemy 异步会话说明

五、排查时,观察连接被借走多久

以后再遇到连接池等待,我会同时看 SQL 耗时和连接持有时间。

一个实用的方向,是记录连接 checkout 到 checkin 之间的时间,再结合业务日志确认这段时间里,任务到底在执行 SQL、等待顺序、等待模型,还是等待发送消息。

如果 SQL 已经返回,连接却迟迟没有归还,排查重点就应该沿着事务后面的代码继续走,而不是只优化查询语句。

数据库侧也可以辅助查看事务,例如:

SELECT trx_mysql_thread_id, trx_started, trx_state
FROM information_schema.innodb_trx
ORDER BY trx_started;

SHOW FULL PROCESSLIST;

这些是排查时的只读示例,需要有相应查看权限;本文没有对业务数据库执行它们。INNODB_TRX 提供 InnoDB 事务信息,可用线程标识和开始时间帮助定位长时间未结束的事务。MySQL 事务信息说明

但数据库当前连接数、池内保留的空闲连接,以及应用正在借用的连接,并不是同一个数字。进程列表中的 Sleep,也不能单独证明“没有事务”,更不能直接证明发生了连接泄漏。

同样,事务视图不能代替应用池的 checkout 统计。需要把数据库状态、连接归还时点和任务等待阶段联系起来,才能判断是谁占用了资源。

扩大连接池有时能缓解真实的容量不足,但不会修复错误的持有范围。延长取连接的超时,也只是让调用方多等一会儿。pool_recycle 在后续 checkout 时处理过期连接,不会强行回收仍被业务持有的连接。SQLAlchemy 连接池说明

配置容量时,还要按进程和副本汇总。每个 worker 各有自己的池,不能只看某一个进程的上限,就当作整个服务的数据库连接预算。

六、验证等待时不占连接,也验证业务仍然正确

这次修复的本地回归,首先验证了原有顺序没有被破坏:让后序任务先到达发布入口,再启动前序任务,仍然先发送前序,再推进后序。

测试还检查了发布调用已经执行 commit。它能验证这处调用和发布顺序,却不是实际数据库连接池耗尽的压力测试。

人工相关性投放的相邻测试,使用本地 SQLite 和模拟 Producer,直接检查发送时 Session 不在事务中,并验证并发发送和异常结果。本次整理文章时,主案例两项、相邻案例三项相关回归全部通过,共五项;它们没有连接真实 MySQL,也不是连接池压测。

如果进一步验证真实连接生命周期,还需要在隔离环境里观察 checkout/checkin,确认任务停在等待阶段时,连接已经归还;同时覆盖等待取消、提交失败和后续操作重新访问数据库等情况。

这里也有例外。项目中存在为了持有 MySQL 命名锁而显式保留物理连接的设计,commit 或 rollback 不会自动释放这种命名锁。MySQL 命名锁说明

专用 Connection 的生命周期,也不能直接套用普通 Session 的归还规则。

因此,我不会把所有跨等待持有连接都认定为错误,而是检查这份占用是否必要、是否有明确上限,以及异常退出后怎样清理。

这次避坑让我更关注一个容易被忽略的时间段:数据库操作已经做完,业务任务却还没有结束。

任务可以继续等待,但它不需要的资源,应当及时交还给下一段真正需要它的工作。

记录过程,也留下判断。

← 继续阅读其他文章