LLM 返回了合法 JSON,为什么聚类结果仍然不可用?
模型返回结构合法却没有核心事件信息,仍可能被标记预处理成功。本文分析默认值、空抽取、规范化截断和聚类章节 Prompt 的治理边界。
检查聚类效果时,我发现一些文章已经生成摘要,预处理状态也是 ok,主体、动作、对象等聚类字段却全部为空。继续向下检查,空字段还可能被拼成固定占位文本,再送去生成向量。
这说明调用成功、JSON 合法、Schema 可解析和聚类输入可用,需要分别判断。本文整理一次机构范围内的质量治理,重点是抽取和交接边界。
一、先确认字段在哪,再定义什么叫漏抽取
聚类信息不一定保存在 analysis 下面。项目把主体、动作、对象、时间和地点保存在预处理快照的 structured_json 中,排查时要检查实际字段位置。
样本也需要过滤。相关性无效而提前结束的文章,没有聚类结果通常符合流程。混合信息按规则跳过自动语义聚类,也应单独统计。
在一次最新三百篇有效、非混合文章的连续样本里,五组数组全空的有七十六篇,而预处理状态全部为 ok。这是当时有限时间窗口内的观察,不能外推为所有机构或全天漏抽取率。
更重要的证据是个案对照。正文和摘要已经出现活动主体与时间,结构化事件却为空,可以继续沿模型解析、规范化、向量输入和写入逐层追踪。
二、默认值会把不同失败形态压成同一种结果
字段默认成空数组,可以兼容遗漏字段,却也使诊断变困难。模型没有输出 actors,与模型明确输出 actors=[],到解析对象后可能完全一样。
随后再写 actors or [],上游差异进一步消失。单看最终快照,已经无法确认是抽取遗漏,还是规范化去掉了全部内容。
因此,质量诊断应当区分原始字段存在性、原始值、规范化后的值,以及最终状态。是否保留原始响应还要考虑成本和敏感信息,必要时保留受控的字段级诊断。
结构校验继续负责类型和格式,业务质量校验负责本次流程最低需要的信息。两层职责清楚,才不会把“能解析”当成“可聚类”。
三、空核心事件不应继续生成占位向量
如果拼接规则总会生成下面这种文本,字符串非空检查就失去了意义。
事件类型:other
主体:none
动作:none
对象:none
多个无核心信息的文章可能得到相似占位输入,向量相似度就不再反映各自真实事件。
本次确认的策略是不增加模型调用。针对目标机构,主体、动作、对象三组均为空时,记录空核心事件,跳过本篇自动语义聚类,继续该文章应有的预警和手动关键词流程。
下面是核心条件的纯函数示意,前提是输入已经完成类型规范化。
def core_event_empty(schema):
# 时间地点缺失,不单独判定整个核心事件为空。
return not any(schema.get(name) for name in (
"actors", "actions", "objects"
))
跳过状态必须被预处理和实时聚类下游识别,否则下游可能把它误认为失败任务,再次补算。它应与模型异常、向量失败和混合信息分别记录。
四、只改聚类章节,也要接受模型输出波动
Prompt 的调整范围已经明确,只修改聚类抽取章节,保持相关性、情感、风险等其他规则文字原样。
修改重点包括要求各风险等级独立执行抽取,对正文明确给出的主事件进行完整性自查,覆盖活动、公告等正常场景,并允许没有证据的时间地点保持空值。
这是为了减少遗漏,不能鼓励模型为了填满数组而推测主体或日期。文章确实缺少事件信息时,空结果仍可能是正确答案。
同一次调用只改一个章节,其他输出依然可能波动。若业务要求完全隔离,需要另行设计执行路径。本次接受同次调用的波动,通过样本对照观察影响。
评测还应排除近重复复用和已有进度恢复,确认看到的确实是新 Prompt 发起的新调用。
五、规范化保护事实边界,验收覆盖整个交接链
另一个问题是直接截断实体或日期。字符串虽然变短了,却可能只剩半个机构名或不完整时间,影响后续匹配。
本地修复针对该机构放宽主体、动作、时间到六十四字,对象和地点到一百二十八字。超长异常项整项舍弃并记录诊断,条目数约束继续保留。这里是代码容错上限,Prompt 仍可以要求更简洁的输出。
验收需要覆盖正常抽取、核心全空、只有时间地点、超长实体、旧快照恢复与近重复分支,并检查原始文章、预处理消息和下游终态的一致性。
本文对应的是本地代码和候选 Prompt 的治理过程,真实模型效果与部署状态需另行验证。优化目标是让每一次“成功”准确表达产物能否被后续使用,抽取质量也因此有了可以持续复核的入口。
记录过程,也留下判断。
← 继续阅读其他文章