Docker 给了 60 秒,消费者为什么还是没有优雅退出?

罗兴波发布于
文章摘要

结合 Go 消费者的停机修复,说明接收任务与处理任务的生命周期、在途排空、提交队列、超时取消和分区撤销之间的关系。

消费者部署时已经配置停止宽限,日志里却仍然出现任务取消,重启后又处理了一批刚才成功过的消息。检查下来,宽限时间只是外层条件,程序还需要正确使用这段时间。

我在 Go 消费者里遇到的具体问题,是停止信号过早取消了处理 context。在途任务跟着中断,后续排空自然无法发挥作用。修复围绕任务生命周期展开,保留原有业务处理和失败策略。

一、停止接收与取消执行是两个动作

收到停止信号后,首先应该停止把新消息交给业务。已经拿到处理名额、正在访问数据库或外部服务的任务,可以在有限时间内继续。

如果所有任务直接派生自信号 context,一收到信号,数据库请求和 HTTP 请求就可能同时取消。之后即使等待一分钟,也只是等待已经失败的任务退出。

Go context 的取消会向子 context 传播。要实现排空,需要区分接收生命周期与在途任务生命周期,并在排空超时或分区撤销时取消相应任务。Go context 文档

本地实现通过停止接收信号阻止新的任务启动,处理 context 仍可供已开始任务完成。这里的“已开始”也需要定义清楚,已从队列取出但仍在等并发名额的消息,不应该在停机后突然进入业务。

二、把退出顺序逐步写清楚

本次修复采用的顺序可以概括为下面这段流程。

收到停止信号
  → 停止新业务派发
  → 等待已经开始的任务
  → 收集完成结果并排空提交队列
  → 关闭 Kafka 客户端

排队但未开始的消息可以留给下次重放。成功任务仍有机会提交,失败任务按原有策略处理。排空超时后,取消未完成任务,并保留相应未提交位置。

消费者业务完成和 Kafka 提交完成是两个阶段。若主线程在 worker 结束后立刻关闭客户端,提交 goroutine 可能还没处理完队列,仍然会扩大重复窗口。

所以等待 worker、关闭提交队列、等待提交器以及关闭客户端需要协调。每一步的错误也要记录,避免日志只显示“退出成功”,却没有说明提交结果。

三、排空期间仍然可能发生分区撤销

在途任务继续执行,并不意味着分区所有权永远属于当前进程。停机期间,消费组仍可能重平衡。

当前实现排空时继续 Poll,以处理相应回调,但预取的新消息不再进入业务。分区被撤销后,对应任务需要取消,迟到结果也不能越权提交。

这与普通停机等待的条件不同。普通停止接收允许在途任务继续,失去分区归属则必须服从所有权边界。

已经发生的外部写入不会因 context 取消自动撤销。即使旧任务最后不能提交,它也可能已经修改数据库。接手者重放时仍然需要幂等检查。

因此,优雅停机缩小重复处理窗口,业务上的恰好一次仍需要独立设计。

四、宽限时间要覆盖整条退出路径

Docker Compose 的 stop_grace_period 控制停止信号到强制结束之间的等待。这个时间必须给程序留下业务排空与清理的空间。Docker Compose 停止宽限说明

应用内部的任务排空时间应当小于外部停止期限,并给提交、连接关闭和调度延迟留出预算。任务可能长达几分钟时,不能只因为配置了六十秒,就认为所有任务都能够完成。

消息处理超时与停机排空超时也不同。前者限制单条任务,后者限制整个进程退出阶段。取值需要结合真实耗时分布和部署要求。

容器入口还要正确接收信号。若 shell 包装没有转发,应用可能直到强制结束也没进入排空流程。部署验收应从容器正常入口发送停止信号验证。

五、用可控制的任务测试停机

这次代码已有针对停机的本地测试。写作核对到的是实现与测试用例,真实 Kafka 故障压测需要另行组织。

可以用可阻塞的假处理器检查几种时序。第一条任务进入业务后发起停机,随后释放它,确认提交机会仍然存在。另一条已经排队或等名额的任务,确认不会再启动。

还应覆盖任务失败、排空超时、分区撤销,以及提交尚未完成时退出。测试断言应落在任务是否启动、是否取消、是否允许提交和客户端关闭顺序上。

优雅停机的效果最终要通过部署记录验证。记录接收停止信号、排空结束、提交结束和进程退出时间,再检查重启后重放范围。这样才能判断配置的宽限究竟用在了哪里。

记录过程,也留下判断。

← 继续阅读其他文章