消费者失败以后怎么办:把重处理做成可维护的任务流程

罗兴波发布于
文章摘要

以热榜与统一事件中心的失败重处理为例,记录如何区分失败现场和执行任务,通过预检、持久化明细、独立 Worker、Kafka 投递及消费者回写推进恢复,并说明处理代次、分阶段重试、状态汇总和人工补偿的边界。

消费者失败以后,最直接的办法,是找到那条消息,再处理一次。

但真正落到维护中,还要回答:是哪一步失败了?这次应该使用原文档,还是重新获取最新内容?任务有没有发出去?消费者已经处理到哪里?如果只失败了一部分,下次要不要把整批重新跑一遍?

在热榜和统一事件中心的维护过程中,我把这类操作逐步整理成了失败队列、重处理任务和独立 Worker。目标是让每次人工恢复都有明确的范围、执行进度和结果,也让进程退出后的后续处理有依据。

这篇以项目已经实现的热榜失败重处理流程为例,讨论这些边界怎样安排。它有具体的业务作用域,不代表所有消费者已经接入同一套通用任务平台。

一、先弄清失败在哪一步,再决定从哪里重新处理

文章或话题处理链路通常包含多个阶段。以这里的热榜流程为例,先从来源内容抽取关键词等 Topic 信息,再进行 Event 判断和归并。

两个阶段都可能失败,但恢复方式并不相同。

关键词抽取失败,可以针对原文档重新尝试;Event 判断失败,如果前面的关键词结果仍然有效,就可以直接重新执行 Event 阶段,避免再次调用关键词模型。

如果发现问题来自抽取内容本身,还可以人工修改 Topic 的标题、摘要和关键词,再进入后续判断。

另外一种需求,是来源已经更新,希望获取这个 Topic 最新的文档,从关键词阶段完整重跑。这比重试原有阶段改变得更多,需要单独检查是否允许执行。

当前实现会限制这类完整重抽:如果 Topic 已经存在有效的 Event 归属,就不能直接按这个入口重跑。不同机构、Prompt 版本和模型配置,也不能混进同一项重处理任务。

因此,恢复入口需要表达清楚操作含义。重新执行失败阶段、使用人工修正结果,以及基于最新来源完整重跑,分别对应不同的输入和影响范围。

像 mapping 冲突这类问题,即使底层原因已经修复,也还要检查当时的消息停在哪里、有没有被提交,再选择合适的补偿入口。把整个消费组的位点往回移动,可能同时带回大量已经成功的数据,不能直接当作单条业务恢复流程。

二、失败记录说明出了什么事,任务记录说明这次准备怎么办

我没有让失败队列的一行记录同时承担所有职责。

失败记录回答的是:哪个对象、哪个阶段失败,当前错误是什么,以及它是否仍然需要处理。它是排查和发起恢复的依据。

重处理任务则回答另一些问题:这次选择了哪些失败项,谁发起,为什么处理,属于哪个机构、Prompt 和模型作用域,以及整批目前完成了多少。

任务之下还需要明细。每条明细保留原失败记录、失败阶段和错误摘要、原文档标识,以及准备后实际选中的最新文档标识、处理代次和当前执行状态。

这里有几个信息,不能只依赖查询业务主记录来补齐。

例如,开始重处理以后,Topic 主记录可能切换到新文档;如果没有保存原文档标识,之后就很难解释这次到底换了什么。原失败队列也可能被后续失败更新,所以任务发起时的阶段和错误摘要需要另行保留。

主表负责批次范围和汇总,明细负责逐项进度及恢复依据,两者放在一起,页面才能同时展示整体情况与具体失败原因。

当前最新文档重抽入口,每批由人工选择一至一百条失败记录。合格项进入任务,不合格项返回跳过原因;全部不可执行时,不创建一个没有内容的空任务。

这个设计也明确了处理范围:Worker 继续推进已经创建的任务,未选入任务的失败记录不会因此自动进入重处理。

三、API 负责登记任务,独立 Worker 负责真正推进

一个容易写出来的实现,是接口收到请求后,在后台启动一个协程,逐条查询 ES、发送 Kafka,最后打印完成日志。

但这些工作如果只留在 API 进程内,接口已经返回以后,进程重启或部署中断,调用方很难知道哪些做过、哪些还没做。

当前实现把操作分成预检、创建任务和后台执行:

人工选择失败项
    → 预检范围与业务条件
    → 确认后,持久化任务和明细
    → 独立 Worker 准备来源与处理代次
    → 投递 Kafka
    → 对应消费者执行
    → 回写明细结果,汇总批次进度

预检用于帮助人工判断:哪些项允许执行,当前来源是什么,最新来源是否找到,有没有活动修正任务或其他冲突。

确认创建时,服务端还会重新锁定并校验失败记录和关联业务状态。预检和确认之间,数据可能已经变化,不能只信任页面上一次看到的结果。

创建任务使用数据库短事务,先把本次操作记录下来。查询最新 ES 文档、发送 Kafka 和模型调用不放在这段事务里,避免把远程等待变成长期持锁。

Worker 领取明细时,也会先持久化“准备中”状态和本次尝试编号,再离开事务查询 ES。查询结束后,重新检查明细、业务代次和 Event 归属,条件仍然成立才继续。

这种领取和检查会使用数据库行锁;部分领取路径还使用 SKIP LOCKED 跳过正在被占用的记录。它适合减少任务队列领取时的锁等待,但不能替代业务状态校验。MySQL 锁定读说明

这里还有一个需要明确告知使用者的约定:预检不冻结最新文档。Worker 执行时会重新查询真正的最新来源,所以最终处理的文档可能与预检时看到的不同。

任务保存了作用域标识和实际选中的文档、代次,也不等于已经冻结了完整原文、Prompt 正文和远端模型。这与为了实验对照而固定输入和执行配置,是不同的需求。

四、投递成功只是一个阶段,业务完成要由消费者回写

任务准备完成后,不能马上算成功。

当前明细先进入独立的“准备完成”状态,保存好最新文档标识和目标处理代次。即使进程在这里退出,也有依据继续投递同一轮任务,不必重新增加代次。

发送前,再将明细持久化为“投递中”,然后执行 Kafka 发送。发送成功后,才尝试回写“已入队”。

这些状态分别回答了维护时很实际的问题:来源准备好了没有,消息有没有开始发送,发送结果如何,以及后续业务有没有完成。

数据库状态更新和 Kafka 发送之间仍然存在边界。例如,消息已经发出,进程却在回写前退出,恢复后可能重复发送。任务表提供恢复依据,并不会自动把两个系统变成一次原子提交;消费端仍然需要幂等与状态检查。Kafka 消息处理语义说明

另一个需要处理的时序是:消费者可能非常快,在发送端回写“已入队”之前就已经开始处理。

因此,消费者允许从合法的“投递中”状态继续领取,而发送端只更新仍处于本次投递状态、尝试编号也匹配的明细,避免把已经前进的状态退回队列等待。

真正的完成记录由消费阶段回写。关键词抽取完成后,如果还需要 Event 判断,明细会继续进入 Event 等待或处理阶段,不能在这里把整个任务标记成业务成功。

页面也需要区分几种结果:正常完成、按规则忽略、来源缺失、投递失败、业务失败,以及已经被其他有效结果取代。它们对后续操作的要求不同。

批次状态则根据这些终态汇总。当前批次 success 可以包含按规则忽略的明细,所以不能把它解释为每一项都重新调用模型、重新计算成功。查看总状态之后,仍应结合各类计数和明细原因理解结果。

五、允许恢复,但不能让旧任务覆盖新的业务状态

持久化任务以后,下一步就是处理进程中断和重复执行。

当前 Worker 会检查准备中、投递中及消费处理中明细的超时状态,按对应规则恢复到可继续的阶段。这样,进程退出后不必只能靠人去猜测“刚才到底做到了哪里”。

但恢复需要带上身份和条件。

准备阶段使用状态与尝试编号确认本次领取仍然有效;迟到的 ES 查询结果,不能在新一轮已经接手后随意覆盖状态。

业务上还引入 generation,也就是同一个 Topic 的处理代次。任务创建时记录当前代次;准备新一轮时,先确认它没有被其他操作改变,再生成本轮目标代次。消息携带这份身份,消费者据此识别过时执行。

代次帮助回答的是“你是不是仍在处理当前这一轮”,它还需要与阶段执行记录、终态检查及业务写入规则配合,才能处理重复消息。

重试额度也按阶段维护。准备与投递各有自己的尝试次数和上限,消费超时恢复还可能调整投递计数,不能把它概括成“整个任务最多重试三次”。

自动恢复解决有限范围的中断,人工重试则只选择当前允许重试的失败明细。已经完成的项不必因为同批其他项失败,就全部再执行一遍。

重新提交时还会核对最新 generation、Event 归属和原失败状态。某项业务已经由其他流程推进,旧任务可能应该结束或提示重新确认,不能只为了让任务最终显示成功而强行覆盖。

这些检查降低重复处理和过时写入的风险,但不能承诺外部模型只执行一次,也不能让已经发生的外部操作自动撤销。重处理依然需要明确每个阶段的幂等边界。

六、可维护的任务流程,最后要回到操作和验证

算法优化平台提供了查看失败记录、预检、创建任务、查看进度和选择失败明细重试的入口。维护时,我希望能够围绕同一批任务继续排查,而不是每次重新拼一组参数。

后台执行也有明确归属。热榜运维 Worker 放在业务后端,监督关键词修正、Event 解散和失败重处理三个 runner;某个 runner 异常退出后,可以按退避规则单独重启,两个主 Kafka 消费者仍保留自己的职责。

这样的整合减少了运维入口的分散,但三个 runner 仍共享一个进程,不能把它理解为进程级故障隔离。当前首期运维 Worker 按单副本使用,也没有提供通用的任务暂停、取消和全量扫描功能。

验证这类流程时,我更关注状态是否能解释实际执行:进程在准备后退出能否继续,投递失败是否保留原因,业务代次变化是否阻止旧任务,以及消费者快速完成时状态会不会被发送端回退。

本次整理文章时,两端相关的本地模拟回归共十二项,全部通过。它们验证了相应的路由、投递并发、失败状态、代次保护和任务锁刷新等行为,不能代替真实数据库、Kafka 与消费者的完整联调。

对我来说,这次整理形成的架构取舍,是把恢复工作放进已有业务边界:失败记录负责保存问题,任务负责记录人工意图,Worker 负责推进,消费者负责回报业务结果。

重处理入口能够持续使用,依靠的是这些环节之间清楚的约定。下一次再遇到失败时,维护者能够找到对象、选对阶段、看懂进度,并在必要时继续处理,这套流程才算真正发挥了作用。

记录过程,也留下判断。

← 继续阅读其他文章