删除一篇文章,为什么还要清理聚类关系和 Redis 召回记录?
一篇文章同时存在于原文索引、扩展文档、聚类成员关系、聚类状态和 Redis 近重复召回结构中。结合算法平台的单篇删除实现,说明如何精确定位关联、保护代表文章引用、处理并发变化,并讲清部分失败、局部幂等与后续补偿的边界。
删除文章时,列表里少了一条记录,只能说明入口发生了变化。聚类可能还把它当作首篇或代表文章,Redis 的近重复召回桶也可能保留它的 ID。后续读取仍可能沿着这些关系走向一篇已经不存在的原文。
算法平台这次增加单篇物理删除,把原文、扩展文档、成员关系、聚类引用和召回记录纳入同一条操作链路。实现的重点是限定删除范围,并在无法确认归属时停下来。下面讨论已提交代码的行为,部署效果需要另行验证。
先确认这一篇到底指向哪里
删除入口拆成预览和执行两个 POST 接口,分别是 /api/v1/articles/delete-preview 与 /api/v1/articles/delete。预览返回扩展文档数、成员关系数、受影响聚类、删除后的成员数量,以及 Redis 元数据是否存在。
目标同时包含机构、具体月份索引和 ES _id。后端拒绝别名、通配符及多索引地址,还会检查原文归属。业务文章 ID 如果与 _id 不一致,当前实现直接拒绝自动清理,留给人工核查。
这些限制解决的是关联地址的歧义。同一个 ID 出现在其他月份,并不足以证明它属于当前原文。服务会核对扩展文档的原文索引,跨月扩展必须有明确的来源指向,成员关系也必须携带准确的原文索引。它采用校验后的实际命中地址执行操作。
查找同时覆盖原文和扩展文档中的聚类投影,以及聚类状态里的样本、首篇、末篇和代表文章引用。这样能够发现部分已经缺少成员关系、却仍保留状态引用的遗留数据。未知聚类类型、未知成员存储方式、涉及统一事件实体同步的链路会被拒绝。
关联查询还设置了数量上限。单类读取超过 100 条或总数不完整,流程停止。这个上限约束自动操作的范围,ES 内部查询成本仍受索引规模和过滤选择性影响。
删除关系以后,聚类还要能正常打开
一篇文章可能同时属于自动聚类和人工专题。删除它需要清理对应成员关系,并维护每个受影响聚类的文章引用,否则详情页仍可能使用旧代表文章,统计也会失真。
当前实现重新查询排除目标文章后的成员,计算 doc_count,避免沿用旧计数减一。关系索引模式下,自动聚类按语义主归属统计,人工关键词专题按其成员口径统计。旧存储模式则从扩展文档中的聚类投影读取。
引用修复采用有界候选。服务获取排序靠前的最多 50 条、末篇候选和原代表候选,再批量检查对应原文是否存在。仍有效的代表文章优先保留,需要替换时使用有效的首篇候选,并更新样本、首篇时间和末篇引用。
候选校验也有边界。若剩余成员非空,却无法取得有效首篇或末篇,服务会拒绝继续,不会遍历整个聚类寻找替代。因此,这一步提供有限范围的引用保护,无法替代历史脏关系的全面修复。
聚类变空后,定义、人工规则和业务状态继续保留,文章引用清空,同时关闭展示就绪标记、清空平台与互动统计,将风险和情感设为待定,并清空质心。非空聚类仅维护成员数量与文章引用,历史摘要、风险及向量仍沿用已有值。依赖这些派生结果的读者,需要理解这次删除的更新范围。
Redis 清理要精确到桶里的成员
近重复召回使用文章元数据、SimHash 分桶和年龄索引共同组织数据。只删除元数据,会让桶里继续留着目标 ID。直接删除整个桶,又会影响同桶的其他文章。
服务沿用现有近重复管理模块,从指定逻辑库读取目标元数据,解析其中的原文索引与 SimHash,计算四个桶地址。执行时只移除这些桶中的目标成员,再删除文章元数据及年龄索引中的对应项,全程使用明确的 Key。
比较和删除放在 Lua 中完成。脚本先比较当前元数据与预览时读取的原始字节,再检查年龄索引和全部桶的类型,确认后才写入。元数据仍存在且字节与快照不同,或预览为空而当前新增记录时,脚本会拒绝清理。相同字节的重新写入无法由这次比较识别;现有召回写入路径也可能复用原时间信息产生相同字节。类型异常则能在首次写入前被发现。Redis 保证脚本执行期间的原子性,其保护范围限于这次 Redis 脚本。Redis Lua 官方说明
如果原元数据已不存在,同一次执行仍可依据快照清理已知桶成员。但重新预览时若元数据已经缺失,服务就无法从中恢复 SimHash,当前实现也不会扫描所有桶寻找孤儿成员。因此,删除结果里的元数据计数不能证明全部历史召回残留都已被清除。
预览确认需要挡住并发变化
前端要求输入完整文章 ID,并携带预览返回的 revision。这个指纹涵盖相关 ES 文档的版本、计划中的状态补丁和 Redis 元数据摘要,关联变化后必须重新确认。
后端执行前重建计划,获取文章锁和关联聚类更新锁,在锁内刷新相关 ES 索引后再次读取。刷新用于让已提交但尚未对搜索可见的成员参与计数。新旧计划不一致时,流程返回冲突。
每次 ES 更新和删除还携带 if_seq_no 与 if_primary_term,阻止旧计划覆盖已经变化的文档。ES 的这组条件针对单个文档版本生效,跨文档、跨存储的完成情况仍需分别确认。Elasticsearch 乐观并发控制
锁会续租,各阶段执行前也会检查所有权。锁约定与版本条件共同降低竞争风险,但跨 ES 与 Redis 的整条链路仍可能部分成功。没有遵循同一锁协议的写入者,以及删除完成后的重新采集,都需要另行考虑。
部分失败后,先重新认识现场
实际执行顺序是更新聚类状态、删除成员关系、删除扩展文档、清理 Redis,最后删除原文。各 ES 阶段批量执行并检查逐项结果,发现失败就停止后续阶段。
把原文放在最后,是为了让前面的清理失败时仍有定位依据。已完成的修改不会回滚,部分聚类状态也可能已经更新。接口会返回 success=false 和步骤结果,即使 HTTP 返回成功,调用方也必须检查业务结果。
前端对此没有自动重试。失败或请求异常后,确认按钮被禁用,用户需要重新预览并重新输入 ID。请求超时可能发生在服务端已经完成操作之后,界面会提示结果尚未确认。
当前幂等能力集中在局部步骤。精确删除接受目标已经不存在的结果,Redis 可以重复移除已知成员,重新预览后的状态回算也避免反复减一。但整次操作成功后再次调用,原文缺失会导致计划构建返回 404,服务无法继续验证关联归属。它也没有持久化删除任务和结果回执。
如果后续需要断线后自动接续,可以增加删除意图、阶段结果持久化与补偿执行机制。这属于后续设计,当前流程依赖重新预览和人工确认。文章删除也没有建立永久删除屏障,后续采集仍可能重新写入。
验证能支持到什么程度
本次核对了后端提交 6de3e8d、当前删除服务,以及前端提交 dbe5a76 对应的确认弹窗。后端 38 项模拟测试重跑通过,覆盖精确清理、空聚类、跨月扩展、引用保护、版本变化和分阶段失败后的重新预览。
仓库另有临时 Redis 实例的 Lua 测试,本轮未执行。前端删除脚本会拦截请求到内存,检查失败后重新确认、双击防重和分页等行为,本轮仅审阅。上述范围没有覆盖真实 ES、Redis 与消费者并发运行的完整联调。
这次实现把删除中的关联责任显式化了,也保留了保守拒绝的出口。使用时应同时检查清理范围、引用修复结果和每一步的完成状态,才能判断这一篇文章是否已经从当前支持的业务链路中退出。
记录过程,也留下判断。
← 继续阅读其他文章