上游已经算过向量,下游为什么还在重新计算?
从文章分析与聚类预处理的重复计算出发,说明分支产物遗漏、复用契约、模型版本校验、合法跳过状态与逐阶段观测。
排查聚类预处理积压时,一个疑问反复出现。统一文章消费者已经完成分析,为什么下游还有很多消息重新调用抽取模型和 embedding?
沿着消息和 ES 快照核对后,可以看到“上游做过某些分析”和“下游拿到可复用产物”之间还有一段交接。本文讨论这份交接契约,历史故障与当前代码分别说明。
一、相邻阶段需要的产物未必相同
统一文章分析可能已经得到摘要、风险和分类,聚类阶段还需要规范化事件信息、向量输入、embedding,以及说明它们如何生成的元数据。
因此,一份 analysis 不能自动替代完整聚类预处理。即使其中包含类似信息,下游也需要知道字段语义、生成模型、维度和版本是否满足当前要求。
历史排查中,正常分析路径可以附加完整预处理,近重复缓存路径却存在交接遗漏。消息里状态和结构化文本缺失,向量也可能为空,下游只能进入自己的补算路径。
这类遗漏容易发生在优化分支里。缓存命中缩短了上游执行,却同时绕过了正常路径末尾的产物组装。
二、复用一个产物包,避免只复制向量
完整产物至少需要表达几类内容。
- 规范化结构化信息和实际向量输入。
- 向量及其模型、维度。
- 预处理与聚类版本。
- 各阶段状态、错误与来源。
只复制 embedding_vector,会留下解释不了的向量。只把 preprocess_status 改成 ok,也无法补齐缺失的实际内容。
这里可以把产物看成一个具备来源的整体。生产者写入时保证内部一致,消费者读取时验证自己需要的条件。消息、ES 快照和进度恢复都要遵守相同约定。
历史方案曾提出补齐这些分支。当前本地异步服务已出现来源完整性检查,以及恢复路径中的模型、维度和版本核对,正式判断仍要按具体分支追踪,不能只凭旧方案状态认定所有路径已经部署完成。
三、结果存在,还要判断是否适用于本次执行
下面是普通成功产物的校验示意,字段名用于说明检查关系。
def reusable(snapshot, expected):
# 这里只展示普通成功产物,合法跳过状态另行判断。
return (
all(snapshot.get(k) == "ok" for k in (
"preprocess_status", "schema_status", "embedding_status"
))
and bool(snapshot.get("structured_text"))
and bool(snapshot.get("embedding_vector"))
and all(snapshot.get(k) == expected[k] for k in (
"embedding_model", "embedding_dimension",
"preprocess_version", "clustering_version"
))
)
真实校验还应结合契约检查数组实际维度、数值合法性及输入身份。相同维度不足以证明向量空间兼容,更换 embedding 模型后,旧向量不能只因为长度一样就继续使用。
输入身份同样重要。文章补充 OCR、正文更新或清洗规则变化时,之前的产物可能需要失效。若使用输入指纹,应明确它覆盖哪些字段和规范化规则。
四、合法跳过与失败不能混在一起
并非所有空向量都需要补算。
混合文章可能按业务规则跳过自动语义聚类。核心事件为空的文章,也可能被标记为合法跳过。这些都是流程决定,应由下游承接相应终态。
模型异常、请求超时或向量生成失败则需要保留错误原因。把两类情况都表现为空数组,下游就无法决定该重试还是结束。
旧产物不完整时,需要明确降级策略。可以重新执行缺失阶段,也可能因缺少可信来源而回到正常分析路径。若选择补算,应复用已经确认有效的上游结果,避免顺手把整个分析链重跑一遍。
策略取决于业务契约,不能用填默认值的方式伪造成功。
五、沿分支统计,才能解释缓存到底省了什么
观测应分别记录普通路径、近重复命中、近重复未命中、进度恢复和合法跳过。每一类再统计复用成功、缺失字段、版本不匹配、模型不匹配,以及实际补算次数。
缓存命中率高但预处理仍大量补算,说明上游优化可能把成本转移到了下游。只有把模型调用、embedding 调用与端到端完成耗时放在一起,才能判断收益。
回归也应按分支覆盖。正常文章、完整旧快照、不完整旧快照、模型变更、空核心事件和混合信息都需要经过真实生产入口的相同组装逻辑。
这篇与近重复结果复用讨论不同层次。查重决定是否可以借用已有分析,产物契约决定借来的结果能否被下一阶段安全使用。跨消费者拆分以后,这份契约就是减少重复计算的关键依据。
记录过程,也留下判断。
← 继续阅读其他文章