消费者日志一直显示成功,Kafka lag 为什么还在涨?
从消费成功与提交停滞的矛盾入手,说明如何定位最早失败位点、区分吞吐不足和提交缺口,并安排重试、隔离与安全重放。
排查消费者积压时,我多次看到一种现象。日志不断显示文章处理成功,Kafka lag 却继续上升,增加副本也没有立刻解决。
这里需要同时检查业务完成和位点提交。一个消费者可以持续处理后面的消息,同时被前面一条未完成消息挡住提交。成功日志证明某个阶段有进展,恢复位点是否前移还要另看。
本文聚焦排查路径,调度架构可以结合分区内有限并发阅读。具体案例选取实时聚类处理链路,涉及当前实现的行为以核对代码为依据。
一、先记录三个位置
对一个分区,至少记录 Broker 端已提交位置、当前拉取位置,以及业务完成情况。lag 的具体计算还取决于监控采用的末端位置和事务隔离等口径。
假设拉到三条消息,offset 分别为 100、101、102。100 失败且按业务策略不能提交,101 和 102 已成功。即使后两条都写入了 ES,恢复位置仍不能越过 100。
这是教学示意。Kafka offset 可能因日志压缩或事务等原因跳号,生产实现应按实际已拉取记录顺序判断安全完成前缀,不能要求每个整数位置都有一条消息。Kafka 位点与消费位置说明
因此,排查先看 committed 是否移动,再看业务完成计数。只比较输入速率与成功日志条数,可能把提交缺口误判成处理能力不足。
二、找最早未解决的消息,沿时间线核对
我会先按分区列出积压,确认是否集中在少数分区,然后查询对应已提交位置附近的日志。关键字段是 topic、partition、offset、当前 owner,以及任务所属的分配代次。
找到第一次异常以后,再检查后续成功记录是否都位于它后面。若存在大量成功但未提交的任务,优先分析缺口原因。
实时聚类中,候选专题可能在召回后失效,写入时也可能遇到版本冲突或外部服务异常。错误处理必须区分还没发生业务写入,与已经写了一部分的情况。
例如,尚未写入前发现候选失效,可以排除失效候选后重新召回。若关系已写入、状态更新失败,再运行整条流程就需要确认幂等和补偿边界。
日志应表达失败阶段,而不是把所有异常都压成“处理失败”。这样才能决定下一步是重试、隔离、修数据还是人工恢复。
三、lag 上涨可能来自不同原因
如果多个分区的 committed 持续向前,但总体 lag 增长,可能是进入速率高于有效处理速率。需要继续看模型耗时、连接池、限流和实际在途量。
如果只有少数分区 committed 长时间固定,后续成功很多,更像提交边界受阻。继续增加并发,可能增加已完成未提交缓存。
如果消费组频繁重平衡,应查进程重启、poll 间隔、心跳与任务调度。旧 owner 的迟到结果不能证明新 owner 已经提交。
如果业务完成而提交请求报错,则是提交阶段的问题,需要保留完成记录并重试提交,不能提前释放进度信息。
这些情况也可能同时存在。一次采样只能看到状态,至少需要间隔采样,计算同一分区 committed 与末端位置的变化。
四、重试要保留原消息,也要限制放大效应
临时异常若只被记录为 failed,却没有任何重新调度路径,就会留下长期缺口。重试机制需要明确原消息在哪、何时重试,以及后续消息是否还能继续启动。
对于确认安全的重试,可以让原消息回到分区队首,按退避期限再次调度。等待期间释放工作名额,避免一个热点分区占住整个进程。
对于可能部分写入的未知异常,保守隔离分区更容易保留现场。应用可以暂停新增调度,清理能够从 Kafka 重放的本地尾部缓存,保留未提交边界,再由受控恢复继续。
具体错误能否重试由业务判断。CAS 冲突、锁等待、外部超时看起来都像临时故障,但超时后远端是否已完成,往往不能立即确定。
重试指标至少包含 offset、次数、错误分类、下次调度时间与持续等待时长。持续重试也需要告警,否则系统可能永远显示“正在恢复”。
五、恢复以后,验收位点确实越过故障位置
同消费组重启后,通常从 Broker 保存的位置重新读取。已经成功但没有提交的尾部,也可能再次处理。因此,重启只是触发重放的方式,业务幂等仍然必要。
不要为了让 lag 看起来下降而直接越过失败位点。恢复前先确认外部写入情况和重放范围,恢复后观察原故障位置是否被安全跨过,以及是否出现新的缺口。
最终验收要同时包含业务结果、提交推进、重试是否收敛和本地资源趋势。Kafka lag 是一个入口,把它与最老未提交消息及阶段日志放在一起,才更容易判断下一步应该改吞吐还是改恢复流程。
记录过程,也留下判断。
← 继续阅读其他文章