为什么我又加了一层 cluster_event:把同一事件的不同侧面聚起来

罗兴波发布于
文章摘要

双阈值与 pending 让文章归属有了更明确的决策边界,但同一事件的不同侧面仍可能形成多个 cluster。本文记录我如何增加 cluster_event,通过关键词召回和 LLM 判断建立事件层,在保留底层聚类的同时,将同一事件重新组织起来。

上一篇《为什么我把聚类改成双阈值:用 pending 处理不确定的归属》,记录了我对文章聚类决策的上一步调整。

原来分散的处理方式收敛以后,系统可以根据相似度选择并入已有 cluster、进入 pending,或者新建 cluster。对于暂时拿不准归属的文章,也可以先保留,等待后续内容再处理。

但在实际使用中,我又遇到了另一个问题:为了减少误并,高阈值设置得比较保守;一些 cluster 内部已经比较接近,放到整体事件上看,却仍然在讲同一件事。

继续调阈值,并没有让我获得足够满意的结果。后来我增加了一层 cluster_event,让较细的 cluster 保留自己的内容,再在事件层判断它们是否应当组织在一起。

一、双阈值解决了决策边界,还没有解决事件粒度

双阈值和 pending 主要处理的是文章进入聚类链路时的归属选择。

当文章与已有 cluster 足够接近时,可以直接并入;落在不确定区间时,先进入 pending,等待更多内容;明显不接近或没有有效候选时,则根据流程创建新的 cluster。

这个调整给了系统一个缓冲区。我不再需要让每篇边界文章都在第一次到达时,立刻完成最终归属。

但“现在是否有足够依据并入”和“这些内容在更大的范围内是否属于同一事件”,仍然是两个不同的问题。

前一个问题关注文章与某个 cluster 的接近程度;后一个问题关注多个内容单元之间的事件联系。双阈值提供了更明确的决策方式,并不会自动替我确定事件应该划分到多大。

二、一件事有多个侧面,相似度很难同时兼顾

用一个示意场景说明:某地发生了一起事故,后续出现了三批报道。

  • 第一批主要描述事故发生的时间、地点和现场情况。
  • 第二批关注救援进展、人员安置和交通恢复。
  • 第三批讨论调查结果、责任认定与整改措施。

这些内容都与同一事件有关,但它们的表达重点、实体组合和语义侧重不同。尤其当文章只截取其中一部分展开时,不同批次之间的相似度未必都足够高。

如果降低并入门槛,希望尽量把它们放进一个 cluster,就可能让另一地点发生的类似事故也更容易被混进来。只因为都出现“事故”“救援”“调查”,并不能说明它们是同一件事。

如果继续保持保守的高阈值,则更容易保留较紧密的内容边界。代价是从事件全貌看,几个 cluster 可能在分别讲述同一事件的不同侧面。

这里也不能把实际流程简化成“低于高阈值就新建”。更多边界文章会先进入 pending;只是 pending 也需要依据已有候选和后续成组结果作出决定,并不保证所有相关内容最终进入同一个 cluster。

当候选不足、相似度明显较低,或者 pending 成组后仍不满足并入条件时,系统仍然可能形成不同的 cluster。

因此,我后来关注的不只是高阈值该调高还是调低,而是让同一层聚类同时承担细粒度内容组织与完整事件聚合,是否合适。

三、增加事件层,保留两种粒度

我给两层设定了不同的职责。

cluster 继续组织语义较接近的文章,尽量保持内部内容紧密。业务上,可以把这样的内容单元理解为事件中的一个侧面,或者一个较集中的叙述范围。

cluster_event 则在更高一层,判断多个 cluster 是否属于同一事件,把不同侧面联系起来。

继续看前面的示意场景:

  • 事故现场相关的文章形成一个 cluster。
  • 救援进展相关的文章形成另一个 cluster。
  • 调查整改相关的文章形成第三个 cluster。
  • 事件层再将这些 cluster 关联到同一个 cluster_event。

这是一种分工目标,并不意味着第一层已经具备明确的“侧面分类器”,能够保证每个 cluster 都对应唯一、互斥的侧面。第一层仍然根据自己的聚类逻辑处理文章,事件层在这些结果之上继续组织。

实现上,我也没有把底层文章全部搬进一个新的大 cluster。文章与原 cluster 的归属保留,cluster_event 通过成员关系关联这些 cluster。

这样,使用者既可以从事件层看整体,也可以继续展开成员 cluster,查看不同部分的内容。事件聚合与细粒度内容不必只保留其中一种。

四、代码里怎样完成第二层判断

第二层的实现,没有直接复用文章聚类的 low、high 阈值再做一次向量比较,而是采用了关键词准备、候选召回和 LLM 判断的处理路径。

首先,自动语义 cluster 在创建、并入或 pending 晋升等流程完成后,会检查是否满足事件层的投递资格。机构启用状态、已有归属和语义成员门槛都会参与检查,并非每个新建 cluster 都会立刻进入事件层。手动关键词专题也不会直接沿用这条自动语义事件链路。

满足条件后,通过异步消息进入后续处理。这使事件层能够在原有文章聚类结果之上继续工作,也为失败记录和重试保留了独立的位置。

接下来,关键词阶段读取 cluster 的标题和摘要,通过 LLM 提取用于事件判断的关键词,并保存抽取结果。成功结果在来源内容未变化时可以复用,后续消息引用对应记录和版本,避免把已经过期的关键词结果当作当前输入。

关键词准备好后,事件阶段通过 MySQL 中的关键词倒排关系召回已有 cluster_event。候选范围按机构、Prompt 版本和模型配置隔离,并排除不再活跃或已经闭环的事件。

关键词重合数量可以帮助排列候选,但重合本身不是最终的事件归属结论。不同地方的类似事故可能共享不少词,仍然需要继续判断。

因此,系统把来源的标题、摘要、关键词,以及候选事件的信息交给 LLM,由它选择并入已有事件,或者创建新事件。

模型返回已有事件时,程序会检查选中的 ID 是否来自本次候选,并在落库时再次检查目标是否可用。判断结果还会保存对应的记录,便于后续排查和修正。

完成归属后,再写入成员关系,维护事件的成员数量与关键词等汇总信息,并将事件标识投影到 ES 中的 cluster 状态。

整个过程里,关键词用于缩小需要判断的范围,LLM 用于进一步判断事件联系,成员关系负责保存结果。它们各自承担一部分工作,而不是由一个相似度分数包办全部决策。

五、事件归属之外,还需要处理重复与变化

增加一层聚合,也增加了状态维护的责任。

同一条 cluster 消息可能重复到达,消费也可能重试。当前实现会检查来源是否已经在对应机构、Prompt 和模型作用域中归属某个事件,并通过成员关系的唯一约束与事务内检查处理并发重复。

因此,正常重复消费可以复用已有归属,不需要每次都重新创建事件。

另一方面,关键词和归属也可能需要修正。代码中保留了关键词修正后的重新决策流程,可以调整 cluster 所属的事件,并重建受影响的旧事件和新事件汇总。

这些能力并不意味着系统已经能够自动识别所有聚类错误。它们提供的是出现问题后的处理入口,以及记录、重试和重算的基础。

展示层同样需要与归属结果配合。事件关系保存在 MySQL,列表使用 ES 中的事件标识折叠同一事件的 cluster,详情再展开成员内容。

这两个存储之间存在投影过程。归属已经保存而 ES 更新失败时,需要通过失败记录和补偿继续处理,不能把它描述成跨存储的瞬间一致。

对使用者而言,第二层的价值不仅是数据库里多了一个关联字段,还在于列表可以按事件组织,进一步查看时又能保留各个 cluster 的内容边界。

六、效果改善来自分工,也仍然有边界

在我的实际使用中,增加 cluster_event 后,总体效果更符合预期。

我可以继续让第一层保持相对保守的并入策略,减少为了聚齐事件而不断放宽内容边界的需要;在更高一层,再把有事件联系的 cluster 组织起来。

这是使用过程中的定性观察。我没有在这里给出精确率、召回率或固定提升比例,也不能据此认为所有同一事件都一定能够聚齐。

事件层首先受候选召回影响。如果关键词抽取偏离事件重点,或者已有事件没有被召回,后面的 LLM 就缺少可以比较的目标。LLM 本身也可能因为标题、摘要信息不足而作出错误判断。

此外,第二层主要处理不同 cluster 的事件联系。如果第一层已经把不属于同一内容单元的文章误并,建立一个事件关联并不能自动把这些文章重新分开。

增加关键词抽取和事件判断,也会带来模型调用、数据库访问和状态维护成本。事件层是否值得保留,需要结合内容规模、使用效果和运行成本持续判断。

对这次改造来说,我最希望保留的经验是:遇到聚类结果不理想时,除了调整阈值,也要重新检查系统究竟在组织什么粒度的内容。

双阈值与 pending 让我更明确地处理文章归属中的不确定性;cluster_event 则让我把“内容内部是否足够接近”和“整体上是否属于同一事件”分别放到合适的层次处理。

记录过程,也留下判断。

← 继续阅读其他文章