近重复检测已经存在,为什么同标题文章仍会重复分析?

罗兴波发布于
文章摘要

两篇同标题文章并发到达时,可能都在可复用代表产生前查重未命中,随后分别调用模型。本文记录统一异步文章消费者如何通过进程内共享标题协调收紧这个窗口,并说明跨分区、并发名额、重试清理及结果复用的边界。

近重复检测已经上线了,为什么几篇同标题文章几乎同时进来,仍然各自调用了模型?

在统一异步文章消费者中,这个问题与处理时序有关:近重复查询需要找到已经可复用的结果,而另一篇文章可能还在分析中。两篇文章同时查重,都没有找到代表,就会分别继续分析。

后来,我为同一消费者进程增加了共享标题协调:同一个 topic 下,清洗后标题相同的文章先后进入处理,后一篇拿到执行机会后重新查重。标题只用来协调执行顺序,是否能复用分析,仍然由近重复精判和结果资格决定。

这篇记录这个并发窗口,以及修复时几个容易忽略的边界。

一、近重复检测能找到历史结果,却未必看得见正在处理的文章

在文章近重复处理实践中,我介绍过 Redis+SimHash 召回、Jaccard 精判和分析结果复用。

它的主要流程是:新文章先查近重复;找到合格来源就复用,没有找到就正常分析。分析完成、ES 保存及既有后处理之后,满足资格时再尝试登记 Redis 代表,供后续文章召回。

代表登记放在后面,有实际原因。后续文章需要的不只是“有一篇相似内容”,还需要它已经具有可用的分析结果。提前把尚未完成的文章作为可复用来源,会让后续处理面对不完整状态。

但这个顺序留下了一个时间窗口。

假设 A、B 来自不同平台,清洗后的标题相同,正文也满足近重复条件。它们几乎同时进入同一 topic 的不同 partition:

时间        文章 A                        文章 B
T1          查询近重复:未命中
T2                                        查询近重复:未命中
T3          调用模型分析                  调用模型分析
T4          保存结果,尝试登记代表
T5                                        保存结果,尝试登记代表

这个例子只说明可能的执行顺序,不是一次耗时测量。

B 在 T2 查重时,A 的结果还没有成为可用代表。对 B 来说,“没找到可复用结果”是真实的,因此它继续调用模型,也符合当时的业务逻辑。

单看每一步似乎都没错,把两条处理链放到同一条时间线上,才能看到重复计算从哪里发生。

二、查询和登记各自正确,仍然挡不住中间的并发窗口

最容易产生的误解,是认为 Redis 查询和代表登记已经做了保护,整条链路就不会重复执行。

实际上,这里包含多个阶段:查询、精判、分析、保存、后处理和代表登记。即使某次 Redis 写入是原子的,也不能把前面的模型调用一起变成原子操作。

等到两篇文章都完成分析,再避免重复写代表,已经无法节省前面发生的模型调用。

只在查询附近短暂加锁也不够。A 查完后释放锁,进入模型分析;B 随即查询,此时 A 仍然没有登记结果,B 还是会未命中。

因此,需要协调的是“查询到可复用结果产生之前”的这一段执行。

这个问题在协程里同样存在。虽然一个事件循环通常在一个线程中执行任务,但 A 等待模型、数据库或网络响应时,B 可以继续运行,并读取尚未更新的状态。单线程并不等于整条异步业务天然串行。

这里也不要求 Kafka 发生重复投递。两条消息可以有不同的文章 ID、平台和来源,只是内容近重复;即使每条消息都只投递一次,也可能分别进入模型分析。

同时,Kafka 的分区归属也不会自动替应用解决这个问题。同一 consumer group 内,一个 partition 会分配给一个消费者成员,但一个消费者可以同时处理多个 partition;应用还可能在分区内部进行有界并发。Kafka 消费者说明

这也是为什么问题会在提高并发之后更容易暴露:并发让更多文章同时推进,也增加了它们同时查不到历史代表的机会。

三、同标题要共享一个协调入口,不能每个分区各锁各的

我选择先处理一个明确范围:同一消费者实例、同一进程和事件循环中,同一个 topic 下清洗后标题相同的文章。

协调键可以写成:

(topic, SHA256(清洗后的标题))

这里特意没有把 partition 放进键中。如果 P0、P1 分别维护自己的标题锁,同标题文章进入两个分区时,仍然可以同时取得各自的锁,并发分析。

因此,消费者实例只创建一个共享标题协调器,让它覆盖本进程负责的全部分区。文章仍保留在原 partition 的队列里,分区归属和提交位置也不因标题相同而改变。

标题清洗复用默认的文本规范化规则,包括还原 HTML 转义、去除标签和 URL、统一全半角、英文转小写,以及去除空白和标点,保留中文、英文字母和数字。

例如:

“【某地道路施工】出行请注意!”

“某地道路施工,出行请注意?”

它们可以得到相同的清洗结果。这只是调度示意,原文章标题不会因此被改写。

清洗也有明确边界:当前只使用实际 title,不回退到正文或原帖标题;空标题、非字符串标题、清洗后为空的标题,以及控制消息,不进入普通文章的共享标题互斥路径。

topic 继续隔离,不同 topic 的相同标题不会共用执行权。协调键也没有再按机构拆开,所以不同机构的同标题文章如果进入同一 topic,也可能先后等待;真正的近重复召回和结果复用仍然保持机构隔离。

这些选择确定的是调度范围,不能用标题协调键替代业务上的重复判定。

四、前一篇结束后,后一篇重新查重,而不是直接复用

增加协调后,希望形成的处理过程是:

A 取得标题执行权
    → 查重 → 分析 → ES 保存与后处理
    → 满足资格时尝试登记代表
    → 本次业务终结,交接执行权

B 在原分区等待
    → 取得标题执行权
    → 重新查重、精判并检查复用资格
    → 合格则复用,否则正常分析

标题锁需要覆盖前一篇的完整处理调用,包括代表登记尝试。等这段工作结束,后一篇才能重新查询。

这里仍有两点需要区分。

第一,标题相同不等于内容相同。新闻常用标题、固定栏目标题和模板标题,都可能对应不同正文。B 取得执行权后,仍然需要检查内容及来源分析,不能因为 A 已处理过这个标题就直接复制答案。

第二,标题释放不代表代表登记一定成功。如果 A 分析失败、没有满足登记资格,或者 Redis 登记失败,B 重新查重仍然可能未命中,再次分析是允许发生的。

调度时还要避免让等待本身耗尽并发名额。当前被其他分区同标题占用的组,文章留在原分区队列里,worker 登记等待后可以继续检查其他组,不会一直占着全局文章处理名额等锁。

已经取得标题执行权的任务,在等待全局并发名额时可能占用一个原分区 worker;这个状态与尚未取得标题执行权的等待组不同。

因此,通常可以让同标题串行、其他可派发标题继续并发。但既有的可恢复业务重试仍可能限制其所在分区的新派发,不能把这一设计理解成所有不同标题在任何情况下都不受影响。

标题协调与分区内有限并发配合使用,目的就是在保留处理能力的同时,收紧这类重复分析窗口。

五、重试、取消和分区回收,也必须维护执行归属

加锁后的主要工作,是确保失败与生命周期变化不会破坏协调关系。

对于仍在继续的可恢复业务重试,当前实现保留这篇文章的标题执行权。退避时释放全局处理名额,再按原规则尝试,避免同标题的下一篇提前进入。其他可派发分区中的不同标题仍可处理。

消息正常终结、发生普通业务错误,或执行超时后,则需要按原有处理规则结束,并清理本次持有的资源。

分区被回收时,协调器还要撤销它尚未领取的执行权,清除对应等待关系;如果正在处理的任务属于这个分区,要先按既有机制等待或取消任务,再交接标题。

其中一个重要原则是:旧任务只能清理自己取得的执行权。不能仅凭标题相同,就把后来新分配任务的锁或状态一起删除。否则,原本用于避免并发的代码,反而可能重新放行两个执行者。

标题锁也不需要一直等到 Kafka 提交成功。业务调用结束后的标题交接,与原分区的提交重试分别维护。提交失败仍可能带来重放,业务幂等和已有重复检测继续有作用。

此外,取消本地协程,并不代表远端已经受理的模型请求能被撤回。因此,这套进程内协调不提供“外部模型永远只调用一次”的保证。

它解决的是明确作用域内的调度竞态,进程故障、网络结果不确定、消息重放和外部系统的执行边界,仍然需要分别处理。

六、验证并发时序,也保留修复的适用范围

这类修复的验证重点,是让原本容易撞在一起的时序,能够在测试里稳定出现。

例如,让 A 先开始处理,并人为暂停在代表尚未可用的位置;再把同标题 B 放入另一个分区,确认 B 没有进入业务处理。同时放入一个独立标题 C,确认它可以在条件允许时继续执行。

随后让 A 完成并使代表可见,再确认 B 得到执行机会。这样验证的是处理先后关系,而不仅是最终记录数量。

本地回归还覆盖了不同 topic 隔离、标题清洗、重试保留执行权、超时释放、分区回收和旧任务清理等路径。本次整理文章时,两份相关模拟回归共 45 项,全部通过;这些测试没有代替真实 Kafka、Redis、模型联调或线上验收。

当前代码已经实现上述协调,但使用时必须符合它的拓扑前提:同一进程内,由同一个消费者实例和事件循环共享协调器。

这里使用的是进程内的 asyncio 协调能力,无法协调其他进程或机器;asyncio.Lock 本身也不是跨线程或跨进程的锁。Python 同步原语说明

因此,多个副本同时处理同标题时,仍然可能存在这个窗口。标题不同但内容近重复的文章,也不在本次标题协调范围内;代表过期、候选截断、精判未通过及故障降级,同样可能让文章重新分析。

这次修复没有新的线上节省比例可以报告。它带来的直接变化,是让同一进程、同一 topic 中的清洗同标题文章,不再一开始就并发进入分析,而是等待前一篇终结后重新查重。

这件事也让我在检查缓存和近重复能力时,多问一步:现在能复用的是已经完成的结果,还是系统也协调了正在进行的计算?

只有把这两个阶段一起看,才能解释“明明已有近重复检测,为什么还在重复分析”,也才能找到需要补上的那一段处理时序。

记录过程,也留下判断。

← 继续阅读其他文章