风险重算的两次改造:稳定风险判断,守住预警时效

罗兴波发布于 更新于
文章摘要

同一 cluster 内的风险判断波动,需要规则收敛,也需要可靠的处理链路。本文记录风险重算从逐篇触发整组全量计算,到拆出独立消费者,再到基线复用、增量处理的两次改造,以及大 V、媒体影响和预警时效之间的取舍。

同一个 cluster 里的文章,风险等级应该怎样保持稳定?当其中出现大 V 或媒体报道时,又应该怎样保留传播影响?这篇记录我在一套文章分析系统中处理这些问题的过程,以及风险重算从同步全量计算,逐步调整为独立消费、基线复用和增量处理的两次改造。

这套方案主要服务于自动语义聚类后的风险展示与预警。目标是形成一致、可解释的业务口径,同时控制计算成本,避免历史文章的风险刷新拖慢实时聚类和后续预警。

一、客户需要能够理解的风险判断

文章先经过 LLM 分析,再进入后续聚类。同一个 cluster 中的多篇文章,可能围绕相近内容展开,但模型独立判断时,有时会分别给出低风险、中风险或高风险。

客户看到的是最终结果。讲的事情差不多,为什么这篇是低风险,那篇却是高风险?如果系统无法说明差异来自哪里,这种波动很容易变成客户对 AI 准确性的疑虑。

前一篇近重复处理,主要解决内容基本相同的文章反复调用模型,以及独立调用产生的判断波动。风险重算继续向后处理:文章已经进入同一个 cluster,应该怎样建立共同的风险基线,又怎样保留有业务依据的差异。

不能只把所有文章直接改成同一个等级。普通账号和有影响力的账号发布相似内容,对传播范围和后续关注度的影响可能不同;媒体报道也需要在规则中有所体现。因此,我把模型的原始判断、cluster 基础风险和文章最终风险分别维护。

我理解的“把 AI 用好”,就包含这些工作。让模型理解内容,让规则形成业务口径,再由工程链路把结果及时、稳定地交付给客户。结果更一致,需要有规则依据;结果有差异,也应该能够解释。

二、第一版的弯路:每来一篇,整组重新计算

最开始做风险重算时,我采用了一个直接的办法:新文章加入 cluster 后,把这个 cluster 中文章的原始风险重新投票,计算基础风险、文章最终风险,再刷新相应结果。

这种方式的好处是容易理解:每次都读取当前成员,重新算出一份结果。但随着 cluster 不断增长,历史文章会被反复处理。新来一篇要算一次,再来一篇又把前面的文章重新算一遍。

有些 cluster 包含大量文章。一次处理除了投票,还需要读取成员关系和文章风险,生成调整结果,并向 ES 回写历史文章。单篇新文章触发的整组重算,也会带来较长的等待。

这对我们的业务非常敏感。聚类消费者后面接着预警推送,消费者一旦积压,预警就会延后。及时发现、及时通知是这条链路的核心要求,长时间积压会直接影响系统的业务价值。

因此,优化目标不能只看某一次投票执行得快不快,还要看新文章从进入系统到能够触发后续预警,整个过程需要等待多久。历史风险字段的批量刷新,已经成为实时主链里一段很重的工作。

我当时首先要解决的是:让实时聚类尽快完成自己的职责,减少对整组风险刷新的同步等待。

三、第一次改造:拆出消费者,也尝试减少重复任务

我把风险重算和历史文章风险刷新交给独立消费者维护。实时聚类完成文章归属、成员关系、基础状态和当前文章的聚类结果后,投递一条风险重算任务,再继续后续处理。

任务只带机构、cluster 和当前文章等定位信息,重算时重新读取成员关系,消息中只携带定位信息。独立消费者有自己的处理节奏,风险规则也有了更集中的维护与排查入口。

在这段优化过程中,还尝试过控制重复任务。发送端限制同一时间窗口内,相同 cluster 只发送一次。2026 年 9 月的早期消费端也会合并同一批次内的重复 cluster,并通过 cluster 级锁减少并发重算。

后来在 2026 年 11 月 4 日的代码修订中,批内去重进一步区分了任务范围。同一机构内,增量任务按 cluster_id+current_article_id 去重,保留不同文章各自的处理机会。同一批中存在不带当前文章的整组重算任务时,则由该任务覆盖同 cluster 的增量任务。被合并消息继承实际承接任务的处理结果,避免尚未处理就提前确认。

这些措施都减少了重复工作。但拆分之后,风险重算消费者仍然出现积压。原因也逐渐清楚:一个成员规模较大的 cluster,即使只保留一次触发,执行时仍然需要承担一次全量计算和大量回写。

可以用一个简单关系理解:总工作量,大致取决于重算执行次数乘以每次重算成本。限频与去重降低执行次数;独立消费者减少实时主链的同步等待;单次全量任务的成本却仍然存在。

整个演进可以概括为:

最初:新文章加入 → 整组全量重算、回写 → 继续后续处理

第一次改造:
聚类完成 → 投递风险任务 → 继续后续处理
                  ↓
       独立重算,配合限频、去重
                  ↓
       单次任务仍重,风险队列积压

第二次改造:
建立基础风险 → 新文章通常增量处理 → 按变化选择回写范围

第一次改造建立了职责边界。接下来要继续缩小每次必要任务实际处理的内容。

四、第二次改造:建立基线,后续优先增量处理

现在的实现,会先等待 cluster 达到配置的样本条件,再读取有效的原始风险,形成共同的基础等级。

具体规则是统计各等级的文章数量,取票数最多的等级。这里采用的是众数,不要求某个等级必须超过总数的一半。平票时,在平票等级的文章证据中,按发布时间、入组时间和文章 ID 的稳定顺序选择最新的一篇,同时使用它的原始风险原因。

只有符合约定的有效风险等级参与基础等级投票,Uncertain 和无效值单独处理。成员数量门槛与有效风险票数需要分别理解。

基础风险建立后,满足增量条件、已有有效基础等级且本次带有当前文章时,通常优先沿用基线处理。主要读取当前文章,以及必要的首发文章信息,应用传播规则并更新必要状态,减少对历史成员的反复扫描。

这也意味着,新增文章通常不会重新触发整组投票。增量所需的数据不可用时,仍会回退完整重算;必要的完整重算入口也保留着,不能把基线理解成永远不允许调整。

回写范围同样需要控制。基础风险或专题最终风险发生变化时,可能需要刷新历史文章;没有这类变化时,通常只更新当前文章及必要的首发修正。避免无效写入,与减少重复投票同样重要。

这种处理并不保证所有操作都是固定开销。大范围状态变化、完整重算和历史兼容,仍可能涉及很多文章。但常规的新文章处理,已经不需要反复支付整组全量计算的成本。

五、共同基线之上,保留大 V 和媒体的传播影响

风险规则可以分成三层:

R1:文章的 LLM 原始风险与原因
                  ↓ 有效等级投票
R2:cluster 的共同基础风险
                  ↓ 应用单篇传播规则
R3:文章最终风险与调整原因

这里的风险重算,主要是对已有分析结果做投票、规则调整和回写。该重算过程直接使用已有风险结果,不需要重新调用 LLM,主要工作落在数据读取、聚合与写入上。

R1 要保留下来。重算时继续用原始判断作为输入,避免把已经调整过的结果再次投票、再次升级,导致风险反复抬高。对外展示的文章风险可以更新,原始依据仍然能够追溯。

普通文章的最终风险以 R2 为依据,命中大 V 或媒体等传播信号时,再按配置的业务规则调整。同时命中多个信号时,需要明确合并方式、等级边界及例外条件,并为不确定结果设置对应处理规则。

大 V 根据平台对应的粉丝阈值识别;媒体根据标签或配置名单匹配。这些传播信号由明确规则提供,不需要再让模型判断一次账号是否有影响力。

普通文章和传播影响较大的文章可以形成不同的最终结果,差异应当能够对应到具体信号与规则。

cluster 整体风险由独立的成员聚合与规模规则计算。这层结果与单篇文章最终风险各有作用,规模条件也需要按配置解释。

增量处理会结合已有专题风险和当前文章风险,在满足规模调整条件时更新状态,并避免同一条件被重复累计。文章最终风险与专题整体风险,需要分别理解和展示。

为了让这些调整可以解释,结果中保留原始等级、基础等级、最终等级、命中信号和调整原因。客户追问某篇文章为什么更高时,系统应该能够说明具体依据。

六、把规则、计算成本和预警时效一起维护

这次改造最重要的收获,是把几个目标分别落实:模型负责提供内容判断,规则负责收敛业务口径,独立消费者负责风险刷新,增量处理负责控制常规计算量。

独立消费主要拆出了批量重刷的慢工作。部分入口仍有基础风险兜底或同步计算,两条链路也仍共享 ES、Redis 和部分锁。因此,维护时还要关注共享资源压力,不能只盯着两个消费者各自的队列。

异步处理还带来结果滞后。聚类完成和风险刷新成功,是两个需要分别观察的状态。投递失败、重算失败、积压和锁竞争都需要被记录、排查,并在必要时补算。

2026 年 9 月阶段的实现中,部分失败或锁忙路径会记录后提交消息。2026 年 11 月 4 日的代码修订收紧了提交条件。锁忙、重算执行失败,以及事件成员同步失败后连补偿任务也未能入队的情况,会保留 offset 并退避重试。严格读取后确认 cluster 状态不存在,或目标已经不属于自动语义聚类,则按失效目标结束并提交。

这些处理依赖应用明确返回提交或重试结果,还需要持续观察重试、积压与最终状态。把任务拆出去之后,失败处置和结果核对仍然是这条链路的维护责任。

规则收敛也有适用前提。cluster 归属需要合理,原始风险质量需要评估;当前按文章计票,转载数量可能影响众数,票数并不等于独立证据数量。结果更一致、更可解释,不能直接当作准确率提升的证明。

评估这次改造时,我更关注聚类积压、预警等待时间、风险队列延迟,以及完整重算和历史回写的频率。这些指标才能反映客户是否及时拿到了可用结果。

对我来说,能把 AI 用好,系统才能真正体现人工智能的价值。这个过程需要理解模型的能力和局限,用业务规则管理差异,用工程设计控制成本,也保留解释与修正的依据。客户最终需要的是能够理解、及时到达、持续可用的风险判断。

记录过程,也留下判断。

← 继续阅读其他文章