上游已经算过向量,下游为什么还在重新计算?

罗兴波发布于
文章摘要

从文章分析与聚类预处理的重复计算出发,说明分支产物遗漏、复用契约、模型版本校验、合法跳过状态与逐阶段观测。

排查聚类预处理积压时,一个疑问反复出现。统一文章消费者已经完成分析,为什么下游还有很多消息重新调用抽取模型和 embedding?

沿着消息和 ES 快照核对后,可以看到“上游做过某些分析”和“下游拿到可复用产物”之间还有一段交接。本文讨论这份交接契约,历史故障与当前代码分别说明。

一、相邻阶段需要的产物未必相同

统一文章分析可能已经得到摘要、风险和分类,聚类阶段还需要规范化事件信息、向量输入、embedding,以及说明它们如何生成的元数据。

因此,一份 analysis 不能自动替代完整聚类预处理。即使其中包含类似信息,下游也需要知道字段语义、生成模型、维度和版本是否满足当前要求。

历史排查中,正常分析路径可以附加完整预处理,近重复缓存路径却存在交接遗漏。消息里状态和结构化文本缺失,向量也可能为空,下游只能进入自己的补算路径。

这类遗漏容易发生在优化分支里。缓存命中缩短了上游执行,却同时绕过了正常路径末尾的产物组装。

二、复用一个产物包,避免只复制向量

完整产物至少需要表达几类内容。

  • 规范化结构化信息和实际向量输入。
  • 向量及其模型、维度。
  • 预处理与聚类版本。
  • 各阶段状态、错误与来源。

只复制 embedding_vector,会留下解释不了的向量。只把 preprocess_status 改成 ok,也无法补齐缺失的实际内容。

这里可以把产物看成一个具备来源的整体。生产者写入时保证内部一致,消费者读取时验证自己需要的条件。消息、ES 快照和进度恢复都要遵守相同约定。

历史方案曾提出补齐这些分支。当前本地异步服务已出现来源完整性检查,以及恢复路径中的模型、维度和版本核对,正式判断仍要按具体分支追踪,不能只凭旧方案状态认定所有路径已经部署完成。

三、结果存在,还要判断是否适用于本次执行

下面是普通成功产物的校验示意,字段名用于说明检查关系。

def reusable(snapshot, expected):
    # 这里只展示普通成功产物,合法跳过状态另行判断。
    return (
        all(snapshot.get(k) == "ok" for k in (
            "preprocess_status", "schema_status", "embedding_status"
        ))
        and bool(snapshot.get("structured_text"))
        and bool(snapshot.get("embedding_vector"))
        and all(snapshot.get(k) == expected[k] for k in (
            "embedding_model", "embedding_dimension",
            "preprocess_version", "clustering_version"
        ))
    )

真实校验还应结合契约检查数组实际维度、数值合法性及输入身份。相同维度不足以证明向量空间兼容,更换 embedding 模型后,旧向量不能只因为长度一样就继续使用。

输入身份同样重要。文章补充 OCR、正文更新或清洗规则变化时,之前的产物可能需要失效。若使用输入指纹,应明确它覆盖哪些字段和规范化规则。

四、合法跳过与失败不能混在一起

并非所有空向量都需要补算。

混合文章可能按业务规则跳过自动语义聚类。核心事件为空的文章,也可能被标记为合法跳过。这些都是流程决定,应由下游承接相应终态。

模型异常、请求超时或向量生成失败则需要保留错误原因。把两类情况都表现为空数组,下游就无法决定该重试还是结束。

旧产物不完整时,需要明确降级策略。可以重新执行缺失阶段,也可能因缺少可信来源而回到正常分析路径。若选择补算,应复用已经确认有效的上游结果,避免顺手把整个分析链重跑一遍。

策略取决于业务契约,不能用填默认值的方式伪造成功。

五、沿分支统计,才能解释缓存到底省了什么

观测应分别记录普通路径、近重复命中、近重复未命中、进度恢复和合法跳过。每一类再统计复用成功、缺失字段、版本不匹配、模型不匹配,以及实际补算次数。

缓存命中率高但预处理仍大量补算,说明上游优化可能把成本转移到了下游。只有把模型调用、embedding 调用与端到端完成耗时放在一起,才能判断收益。

回归也应按分支覆盖。正常文章、完整旧快照、不完整旧快照、模型变更、空核心事件和混合信息都需要经过真实生产入口的相同组装逻辑。

这篇与近重复结果复用讨论不同层次。查重决定是否可以借用已有分析,产物契约决定借来的结果能否被下一阶段安全使用。跨消费者拆分以后,这份契约就是减少重复计算的关键依据。

记录过程,也留下判断。

← 继续阅读其他文章