从 ES 召回到 Redis+SimHash:文章近重复处理实践

罗兴波发布于 更新于
文章摘要

不同平台的同类文章反复调用大模型,既增加 Token 成本,也可能产生不同的相关性和风险判断。本文记录统一异步文章消费者从 ES 召回+Jaccard 精判,改为 Redis+SimHash 召回+Jaccard 精判的过程,以及覆盖范围扩大后的负载问题、召回调整与资源压力变化。

在文章分析链路中,转载内容会不断以不同的来源、作者和发布时间进入系统。对于其中内容基本一致的文章,我希望复用已有分析,减少重复的 Token 消耗,也减少多次独立调用大模型带来的相关性和风险等级波动。

这篇记录的是统一异步文章消费者的一次改造:原有的“ES 召回+Jaccard 精判”,调整为“Redis+SimHash 召回+Jaccard 精判”。Jaccard 始终保留,主要变化发生在候选召回层。它适合内容基本相同、会大量转载的文章处理场景;同一件事的不同报道角度,仍然交给后续聚类和事件组织处理。

一、先解决重复分析,再遇到新的瓶颈

最初加入近重复处理,主要有两个原因。

第一个是成本。一篇文章被多个平台转载,可能只有标题标点、来源说明或少量文字发生变化。如果每一篇都重新调用模型,相关性、分类、风险判断等步骤就会重复执行。同一份内容,系统可能为它付出多次 Token 成本。

第二个是结果波动。内容基本一样的文章,分别调用模型后,有时会得到不同的相关性结论,或者不同的风险等级。对于使用系统的人来说,这会产生困惑:为什么上一篇被判断为相关,这一篇却不相关?为什么讲的是同样的内容,风险等级却不同?

因此,我在模型分析之前增加了近重复判断:先寻找已经处理过的相似文章,达到复用条件后,沿用已有分析结果。

第一版采用 ES 搜索候选,再用 Jaccard 做精判。覆盖范围扩大后,这条链路持续增加检索负载,并影响系统响应。我先收缩开放范围,再调整召回方式。

这次经历暴露了另一个成本:模型调用可以通过复用减少,但每篇文章寻找近重复候选,也在持续消耗检索资源。

二、原方案的压力主要来自哪里

旧流程可以概括为:

每篇新文章
  → ES 按文本搜索候选文章
  → 读取候选的标题、正文等字段
  → Jaccard 精判
  → 命中则复用,未命中则正常分析

召回需要考虑标题、正文、图片 OCR、视频 OCR,以及文章本身缺少标题或正文时的原文兜底。为了找到候选,ES 需要执行文本检索;涉及 root_article 的部分字段,还存在 nested 结构带来的查询成本。

随着机构全部放开,持续进入的每篇文章,都可能带来一次近重复全文召回。即使最终没有找到可复用文章,检索成本也已经发生。ES 同时还承担系统其他查询,这部分持续增加的负载很容易影响整体可用性。

减少不必要的 root 字段查询、召回阶段只读取精判所需字段、选出最佳候选后再读取完整分析结果,都可以减少单次请求的工作量。但即使做了这些调整,每篇文章仍然需要做全文候选搜索。

我进一步拆开了两个需求:一是从大量历史文章中找出少量可能近重复的候选,二是读取这些候选的原文和分析结果。前者可以用轻量指纹完成,后者继续由 ES 提供。

三、用 SimHash 和 Redis 缩小候选范围

新方案先将文章转换为指纹,再通过 Redis 找候选。SimHash 是用于近重复文档检测的一种指纹方法,可以参考 Google 的近重复检测论文。这里使用它来缩小后续比较范围。

首先是文本清洗:还原 HTML 转义、移除 HTML 标签和 URL、统一全半角、英文转小写,默认保留中文、英文字母和数字。文章自身标题、正文缺失时,分别使用原文标题、原文正文兜底,另纳入图片和视频 OCR 文本。

随后按连续字符生成 3-gram 集合。例如“文章近重复处理”会得到“文章近、章近重、近重复、重复处、复处理”等片段。这里不需要中文分词器,同一字段内重复的片段按集合去重。

这些片段通过加权投票形成一个 64 位 SimHash 指纹。标题、正文和 OCR 按各自权重参与计算,粗召回还会限制输入文本长度,以控制单篇计算量。

接着将 64 位拆成四个 16 位片段:

文章的 64 位 SimHash
┌─────────┬─────────┬─────────┬─────────┐
│ 第 1 段 │ 第 2 段 │ 第 3 段 │ 第 4 段 │
│ 16 bit  │ 16 bit  │ 16 bit  │ 16 bit  │
└────┬────┴────┬────┴────┬────┴────┬────┘
     ↓         ↓         ↓         ↓
  同机构桶1  同机构桶2  同机构桶3  同机构桶4
     └─────────┴────┬────┴─────────┘
                    ↓
          合并候选,检查 Hamming 距离
                    ↓
             只保留少量候选文章

命中对应分桶后,候选继续经过 Hamming 距离筛选。Hamming 距离表示两个指纹有多少个二进制位不同。下面以距离门槛 3 解释四段分桶的关系,实际候选范围与筛选门槛按配置控制。

为什么四段对应距离 3?仅从分桶关系看,最多三个二进制位不同,最多影响三个分段,至少有一个分段完全一致。不过,实际实现还有候选截断和数量上限,因此不能把这个性质理解成系统保证零漏召回。

Redis 中保存文章标识、ES 索引定位、指纹和时间信息,没有放入完整正文或完整分析。分桶使用有序集合组织成员;有序集合支持按分数组织唯一成员,具体行为可参考 Redis 官方文档。

候选经过距离和数量限制后,按索引和 ID 从 ES 批量读取原文。普通分析路径精判通过后,再读取所选来源的完整复用详情。ES 的 multi get API 支持按索引和 ID 批量取文档,这样可以绕开逐篇全文搜索候选的过程。

四、Jaccard 始终负责最后的文本精判

指纹接近,只说明这两篇文章值得进一步比较。是否可以认定内容基本相同,仍然要回到原文。

Jaccard 的计算方式是:

相似度 = 两个 3-gram 集合的交集大小
         ÷ 两个集合的并集大小

假设两个集合合并去重后有 100 个片段,其中 96 个是双方共有的,Jaccard 相似度就是 0.96。这个例子仅用于解释计算方式,并非实际文章的测量结果。

标题、正文和 OCR 分别使用各自的相似度门槛。精判与 SimHash 粗召回也分别配置文本长度上限,兼顾比较成本与内容覆盖。

判定时,双方都有内容的字段都需要通过各自检查。正文很像,但双方标题差异过大,也可能无法命中。如果某个字段一方缺失,当前实现会跳过该字段;如果双方都有但文本过短,则可能因达不到最短长度而不通过。全部字段都无法比较,也不会复用。

因此,标题、正文和 OCR 不要求全部存在,也不能理解为任意一个字段相似就足够。阈值需要结合真实文章样本评估,尤其要关注改了数字、地点或关键事实但大部分文字没变的情况。

两版方案的完整关系是:

旧方案:ES 全文召回 → Jaccard 精判 → 结果复用
新方案:Redis+SimHash 召回 → ES 读取少量候选
        → Jaccard 精判 → 结果复用

这次改造保留了文本精判,把寻找候选的工作从 ES 全文检索转移到了轻量指纹索引。

五、命中之后,文章仍然独立保存

近重复命中后,普通异步分析路径会复制来源文章的 analysis、地域信息,以及可复用的社交聚类预处理快照。后者可以包含已经生成的结构化内容和向量,避免下游重复生成。

复用之前还要检查来源分析是否可用。对于相关且需要进入聚类的普通文章,来源的预处理结果也需要满足当前复用条件,不能仅仅因为找到一段向量,就认为整份结果已经完整。

新文章仍保留自己的 ID、标题、正文、平台、作者和发布时间,继续保存到 ES,并按业务条件进入后续处理。它会记录 source_id、source_index 和 group_key,说明本次分析来自哪里,以及属于哪个近重复分组。

为控制 Redis 的规模,普通情况下,未命中近重复、正常完成分析并保存成功的文章,才登记为后续可召回的代表。已经命中的文章通常不再登记一份新代表。代表的逻辑有效期由窗口配置控制,实际可召回范围还受清理和淘汰影响。

这也有取舍:如果 B 与 A 相似而没有登记,后来 C 与 B 很像、与 A 却已不够相似,C 可能无法通过 B 被找到。保留代表可以节省内存和比较工作量,但不能覆盖无限连续改写形成的相似链。

六、实际效果,以及仍然需要保留的边界

这次改造后,我观察到 ES 的检索负载明显下降,Redis 的内存和 CPU 开销也处于可接受范围。粗召回持续依赖 ES 全文检索带来的压力得到缓解。这是本次近重复召回调整中的运行观察。

运行统计显示,有一部分文章实际复用了已有分析结果,跳过了重复模型调用,也减少了相似内容独立调用模型产生的判断波动。实际费用变化需要结合被复用请求的输入、输出 Token 数量及模型价格计算。

有几个边界需要保留。

首先,候选数量、文本长度和代表保留时间都有上限。默认最终只精判少量候选,前面的候选集合也会截断,因此漏召回是需要接受和观测的取舍。短文本、内容截断和模板化文章都值得单独抽样检查。

其次,两篇相似文章同时进入时,可能都在对方完成分析、登记代表之前查重,从而各自执行分析。代表登记的原子性解决索引一致性,不能保证相似内容在所有进程中只分析一次。

再次,近重复 Redis 或 ES 候选读取失败时,普通分析路径按未命中继续分析。这样的降级优先保证文章能够继续处理,故障期间可能增加模型调用。ES 的正式保存和下游处理,仍然遵循原有错误处理流程。

最后,文字近重复并不自动保证历史分析永远适用。当前普通整份分析复用路径,还没有完整核对当前 Prompt、模型等配置与来源是否一致;修改配置后如何控制旧结果复用,需要继续补齐。新的实体相关性路径有独立的复用资格检查,不能据此认为普通路径已经具备同样的检查。

结果更一致,也不代表原始判断一定正确。如果来源结果需要纠正,或者业务规则、事件信息发生变化,相关风险判断仍可能需要更新。风险重算的改造过程,我在另一篇文章中继续展开。

这次实践让我更重视一件事:评估近重复处理时,除了看到节省的模型成本,也要计算候选召回自身的资源开销,并在全量开放前验证整个处理链路的承载能力。

记录过程,也留下判断。

← 继续阅读其他文章