同一机构的 LLM 调用,如何并发计算并保持串行写入?

罗兴波发布于 更新于
文章摘要

分析 Go 专题聚类链路后续引入机构内并发的设计取舍,讨论候选状态过期、写前校验、顺序发布、背压及重放,并说明 Python 热榜已有相关实现的范围与启用条件。

机构内串行聚类有一个直观好处,后来的文章能够看到前一篇已经更新的专题状态。但当 LLM 调用占据主要耗时,一篇慢请求就会让同机构后续任务等待。

于是有了一个折中想法,让 LLM 并发判断,实际聚类写入继续串行。这个方向可以讨论,但串行写入本身还不足以保证结果正确,因为推理依赖的候选状态可能已经变化。

本文讨论 Go 专题聚类链路后续引入机构内流水线的设计取舍,供改造评审使用。Python 热榜 Event 链路已经在2026年9月8日提交了相近机制,推测阶段并发调用模型,确认阶段按机构 sequence 等待,候选快照变化后重新推理,再按序落库。

这套 Python 实现的 Event 机构内并发数默认是1,配置大于1时才启用推测并发。代码中的实现与具体环境的启用情况需要分别核对。本文讨论的 Go 扩展仍属于后续方案,其实现与部署状态需要另行确认。

一、先画清推理依赖的状态

如果模型只对文章提取关键词,各篇之间相对独立,并发空间较大。若模型要从一批候选专题里决定加入哪个,推理就读取了共享业务状态。

假设 A 和 B 同时看到候选集合 S。A 判断新建专题,并先完成写入。B 仍然依据旧的 S,也判断新建。虽然写入顺序是 A 后 B,最终仍可能得到两个应该合并的专题。

因此,需要区分无状态抽取和依赖共享候选的决策。前者通常更容易提前,后者必须考虑推理快照与写入时状态的差异。

Go 专题聚类链路当前已有针对候选变化的检查和重新决策先例。正式扩展并发时,应沿现有机制确认覆盖范围,而不是只在入口增加 goroutine。

二、可以采用有界的两阶段流水线

一个可评审的流程如下。

文章进入作用域队列
  → 领取有限推理名额
  → 保存输入与候选快照,调用模型
  → 保存待执行决策
  → 在作用域内串行校验和落库
  → 达到可提交状态后推进消费位点

作用域可能包含机构、Prompt、模型和业务版本,不能默认只用 customer_id 就足够。到底哪些任务共享专题状态,应由当前数据模型确定。

“串行”也要跨副本成立。如果只在单进程放 mutex,多个消费者副本仍可能同时写同一作用域。可以沿已有 Kafka 路由、数据库锁或分布式协调机制实现,具体选择需要结合现有架构评审。

模型调用尽量放在长事务和写锁之外,避免等待远端时占住数据库资源。写入阶段再用短临界区核验必要条件。

三、写前检查决定旧答案还能不能使用

待执行决策应包含来源身份、配置指纹、候选标识,以及能表达相关状态的版本或摘要。写入前重新读取必要状态,并检查模型选择是否仍属于合法候选。

若候选被删除、关闭或画像改变到影响判断,旧答案可能需要失效。重新召回并推理,会增加费用,但比静默使用过时决策更容易维护正确性。

检查粒度也有成本。只核对被选中的专题,可能漏掉期间新建的更合适候选。每次发现任意变化都重跑,又可能使热点机构不断重新推理。

这部分应明确业务可接受边界。可以先并发独立抽取,把候选召回与最终归属留在串行阶段,降低状态过期带来的复杂度。

四、顺序发布可能把等待变成另一种积压

若要求按输入顺序落库,前面的模型请求很慢,后面完成的决策只能缓存等待。推理吞吐提高以后,待发布结果反而可能大量占用内存。

因此,并发额度之外,还要限制排队数量、待发布数量、字节数和最老等待时间。超过水位停止新增推理,已经完成的决策继续等待或按恢复策略持久化。

等待顺序时也应结束无必要的数据库事务。await 让出协程执行机会,不会自动归还已借出的连接,相关问题可以参看任务等待与连接池。

前序任务失败后,后续是继续、重试还是隔离,也必须事先定义。保留串行写入顺序,不等于能忽略前序失败。

五、把预期收益和新增成本一起验证

适合评估的指标包括模型等待、推理并发、写入临界区耗时、候选失效比例、重复推理次数,以及每机构端到端延迟。

并发能重叠部分等待,收益仍会受到共享状态变化、模型限流和顺序发布的限制。不能直接把并发设为三,就预计吞吐提高三倍。

回归应覆盖两篇同时决定新建、候选被删除、前序慢请求、配置变化、消费者撤销和写入成功但提交失败。外部写入与 Kafka 提交之间仍有重复窗口,需要稳定身份和幂等恢复。

对这类聚类业务,我更倾向先并发最独立的阶段,再根据状态失效率决定是否扩大推理并行。这样每增加一层并发,都能说清楚它依赖什么、节省什么,以及出现过时结果后如何处理。

记录过程,也留下判断。

← 继续阅读其他文章