为什么我把聚类改成双阈值:用 pending 处理不确定的归属
原有聚类处理路径逐渐增多,文章归属又常常被一条阈值分界线强制二选一。我将主要自动语义聚类流程收敛为双阈值决策,让灰区文章先进入 pending,再由独立消费者基于成组证据决定并入或新建。本文记录改造动机、处理流程,以及这次调整仍然无法独自解决的问题。
在优化原有聚类算法时,我希望先解决两个问题:聚类处理路径越来越多,维护起来不方便;文章与已有专题的相似程度处在边界时,单靠一条分界线,很难同时控制误并和过度拆分。
最终,我把主要自动语义聚类的归属决策调整为双阈值:足够相似就并入,明显不相似就新建,中间暂时无法确定的文章进入 pending。随后,再通过独立消费者处理这些灰区文章。
这篇文章记录这次改造的原因,以及当前代码中的处理方式。
一、先把主要聚类流程梳理清楚
原有项目中,聚类涉及多条处理路径。实时链路会先尝试缓存主题匹配,再进入 ES 检索和后续处理;此外还有近期主题、历史主题合并、质心更新等配套逻辑。
这些能力各自有用途,但同时维护多个入口和处理分支,意味着调整一次规则时,需要重新核对候选从哪里来、相似度怎样计算、结果写到哪里,以及旧路径是否仍然采用相同约定。
我希望先让主要自动语义聚类流程变得清楚:文章经过预处理得到向量,召回有效的候选 cluster,计算文章与候选质心的相似度,再决定归属。
这里的“收敛”指主要处理流程和决策职责更加集中。旧项目中的其他聚类服务、人工专题和兼容逻辑仍然存在,并不意味着一次改造就删除了所有旧代码。
这次调整中,最需要重新考虑的是最后一步:相似度有了,应该怎样决定文章的去向?
二、一条分界线,承担了两个不同的判断
假设文章与最相似候选 cluster 的相似度为 s,归属阈值为 T。采用一条分界线时,典型决策是:
s >= T:并入已有 cluster。s < T:创建新 cluster。
这种方式容易理解,也容易实现。但它把两个问题放到同一条线上:相似到什么程度,我才愿意并入?不相似到什么程度,我才愿意确认它应该独立出来?
实际数据中,这两个问题经常没有相同的答案。
提高阈值,可以让并入更谨慎,但一些内容有关联、证据又不够充分的文章,会更容易落到新建的一侧。降低阈值,可以减少拆分,却可能把只是题材接近的内容并在一起。
例如,已有 cluster 讨论某工业园火情的现场处置。新来的文章可能补充同一现场的信息,也可能报道同一城市另一处仓库的火情,还可能只谈到相关企业停产。
这些标题只是示意。实际判断仍要依靠预处理后的内容和向量,但它们说明了一个困难:题材接近、存在关联、属于同一细粒度内容,并不是完全相同的关系。
这里说的“单阈值”,特指文章归属在并入与新建之间的二选一分界。旧系统中还存在其他配置和判断门槛,不能把它理解成整个系统只有一个参数。
三、双阈值:把无法确定的情况单独留下来
我为普通自动语义聚类引入两个边界:低阈值 L 和高阈值 H,其中 L < H。
先从召回的有效候选中找出最相似的 cluster,再按下面的规则决定:
- 没有有效候选:新建 cluster。
s >= H:直接并入已有 cluster。s < L:新建 cluster。L <= s < H:进入 pending。
边界也需要明确:等于高阈值时并入,等于低阈值时进入 pending。
继续使用前面的示例,假设经过向量比较,补充现场信息的文章达到高阈值,另一处仓库火情低于低阈值,而企业停产说明处于中间区间。那么前两篇分别并入和新建,第三篇先留下来,等待后续处理。
这样,高阈值负责约束直接并入,低阈值负责识别明显不适合已有候选的文章,中间区间则承认当前证据不足。
相似度本身也需要正确理解。当前普通路径比较的是文章向量与 cluster 质心的 cosine,它是用于判断接近程度的数值,并不等于“属于同一事件的概率”。具体阈值仍需要结合模型、输入内容和业务样本调整。
这套三段规则描述的是普通自动语义聚类入口。部分需要立即形成结果的入口,会使用强制不进入 pending 的处理方式,不能用普通路径概括所有场景。
四、Pending 是自动处理的缓冲池
pending 表示暂时没有确定最终归属。文章会先保存到持久化的 pending 索引中,记录向量、原来最相似的候选、处理版本和过期时间等信息。
它不是让一条 Kafka 消息一直等待,也不意味着所有文章都需要人工审核。后续由系统自动检查这些文章能否形成更明确的组,再作出决定。
当前处理会按机构、聚类版本和原来最相似的 cluster 分桶。这样能够把不同机构、不同版本,以及围绕不同候选产生的灰区样本分开。
但处在同一个桶里,也不代表所有文章都应该聚在一起。桶只是缩小处理范围,里面仍然可能混有不同子话题。
因此,pending 处理需要继续寻找合适的子组:选择 seed,收集与其相似的文章,再计算组质心、检查成员与质心的接近程度,过滤离群点,并核对最少数量、平均相似度和较低分位等条件。
其中,较低分位的检查用于关注组内相似度偏低的一部分成员,避免平均值掩盖明显不一致的内容。
这些门槛服务于组的质量。双阈值描述的是单篇文章的实时归属入口,pending 成组与整组并入仍有各自的判断条件。
找到合格子组后,系统会比较组质心与已有候选。如果达到整组并入的要求,就将这些文章并入旧 cluster;否则,为这个内部较为一致的组创建新 cluster。
例如,后续又出现几篇讨论同一企业停产的文章。它们内部足够接近,可以在 pending 中形成组。接下来仍然需要判断这个组适不适合原来的现场处置 cluster,而不是因为数量够了就直接并入。
如果没有形成合格子组,文章继续保留在 pending 中,等待后续触发。超过有效期的记录可以在后续清理中标记为过期;超时本身不会自动把它变成新 cluster。
当前每轮会限制加载范围和 seed 尝试次数,并处理找到的第一个合格子组。它是一条有边界的增量处理路径,并非每次触发都把所有 pending 做一次全局聚类。
五、把成组处理交给独立消费者
双阈值解决了决策方式,pending 的处理成本则是另一个需要安排的问题。
一次 pending 晋升,除了检查向量,还可能读取候选状态、写入文章与专题关系、更新 cluster 状态,并回写组内文章结果。这些步骤如果都由实时消费者同步完成,会持续占用当前处理资源,影响后面的文章。
因此,我把实时登记与后续成组拆开:实时聚类消费者负责持久化 pending、回写必要状态并发送触发消息;独立 pending 消费者负责读取桶、清理过期项、寻找子组、决定目标及批量回写。
这样,实时链路不必承担整组处理的全部工作,pending 也可以独立配置消费并发。异步拆分改善的是任务组织方式,聚类结果仍由前面的相似度与成组逻辑决定。
触发消息还需要配合失败处理。当前关键登记或触发发送失败时,处理结果会要求保留重试机会;独立消费者发现对应记录已经处理,也能够按状态跳过。
重复投递与并发处理,则需要 pending 状态、确定性标识、桶锁和 cluster 更新锁共同配合。这里没有一个跨 Kafka、Redis 和 ES 的整体事务,不能把异步链路简单描述成天然恰好处理一次。工程上仍要核对重复触发、部分写入和重试时的行为。
六、这次调整解决了什么,又留下了什么
这次改造让我能够把确定的归属和不确定的归属分别处理:清楚的情况立即决定,灰区样本通过后续成组补充证据。
但它仍然没有解决所有“同一个事件被分成多个 cluster”的问题。
一个重要原因是,保守的高阈值会让直接并入更谨慎。处于低、高阈值之间的文章进入 pending,并不是低于高阈值就全部新建。
多个 cluster 仍可能从不同路径形成:某个侧面没有召回有效候选,或者与候选低于低阈值,会直接新建;一组 pending 文章内部足够一致,但组质心与已有候选仍未达到并入门槛,也会形成新 cluster。
在工业园火情的示例中,现场处置、企业停产、后续调查可能分别形成较为一致的 cluster。从更大的事件视角看,它们又可能是在讲同一件事。
继续放宽第一层阈值,会重新面对误并问题。这让我开始区分两个层次:文章是否适合进入某个细粒度 cluster,以及几个 cluster 是否围绕同一个事件。
下一篇《为什么我又加了一层 cluster_event:把同一事件的不同侧面聚起来》,会继续记录这一步调整:保留第一层 cluster 的细粒度归属,再增加事件层,组织同一件事的不同侧面。
记录过程,也留下判断。
← 继续阅读其他文章