002|Kafka 怎么存消息:分区日志、消费位点与消息清理

罗兴波发布于
文章摘要

从分区目录、日志段、稀疏索引与消费位点理解 Kafka 存储,区分消费完成、页缓存写入和持久化,并用独立学习 Topic 观察保留与清理。

这是消息队列专题第 2 篇,也是 Kafka 小专题第 2 篇。上一篇已经完成一发一收,本篇回答消息放在哪里、怎么定位、何时清理。下一篇讨论消息获取与消费并发。

先看结论、场景与前提

Kafka 以分区日志保存消息,分区日志再拆成多个日志段。消费组提交的是读取进度,不是删除指令;消息生命周期由 Topic 的保留和清理配置决定。把“消费成功”和“磁盘应该释放”划等号,是排查空间问题时常见的错误起点。

这篇适合已经能收发消息、准备理解磁盘目录或设置保留时间的读者。沿用第 1 篇 Kafka 4.4.0 学习环境、三分区 mq-demo-events、Python 脚本与主机 19092。内容限定本地日志与普通消费组,不引入分层存储或事务内部结构。

文中的目录、Offset 和空间数值都是说明结构的示意;下面列出的命令需要在你的环境执行,不代表本文已经完成 Broker 实测。

先把三个不同的“位置”分开

在理解文件之前,先看这一组例子:

分区 0 的逻辑日志:
  offset 40 -> offset 41 -> offset 42 -> offset 43

消费者进程当前已经拿到:43
业务已经成功完成:      41
消费组已提交的下次位置:42

物理文件位置:某个 .log 文件中的字节位置

Offset 是分区内的逻辑编号,不是字节偏移,也不是全站唯一业务 ID。消费组的提交位点按“组、Topic、分区”分别保存;重启时,从已提交的下次位置继续。进程已经拉到 43,不代表 42、43 的业务完成了;将拉取位置当成处理完成位置,可能跳过工作。

读取进度与业务文件分开保存,意味着通知组和分析组可以读取同一份日志,而不必各复制一份完整消息。普通消费组提交位点由协调者管理,相关记录存放在内部 Topic __consumer_offsets 中。消费位点管理

一条分区日志为什么还要分段

假设 Topic 有三个分区,它在本例 Broker 日志目录下有三个分区目录。分区 0 的结构可以简化为:

/tmp/mq-demo-kafka-logs/
  mq-demo-events-0/
    00000000000000000000.log
    00000000000000000000.index
    00000000000000000000.timeindex
    00000000000000001000.log
    00000000000000001000.index
    00000000000000001000.timeindex
  mq-demo-events-1/
  mq-demo-events-2/

这些文件名中的数字表示日志段的基准 Offset。上图的 1000 只是示意,不是固定滚动步长。新记录追加到当前活动段;达到滚动条件后,后续记录写入新段。这样既能控制单个文件规模,也能按段回收历史,而不必把一个巨大文件中的每条过期记录逐个挖掉。

  • .log 保存编码后的记录批次,包含消息内容;它不是每行一个 JSON 的文本文件。
  • .index 将部分逻辑 Offset 映射到文件位置,帮助快速接近目标。
  • .timeindex 支持从时间条件定位相应位置。

实际目录还会有检查点、快照或其他文件。理解这三个角色就足够开始排查,不需要背完所有后缀。现代记录格式以 RecordBatch 组织,不能用很早版本的单条消息格式推导当前磁盘布局。记录格式

已知 Offset,如何找到文件里的消息

假设希望读取分区 0 的 Offset 1048:先根据日志段基准 Offset 确定候选段,再查该段稀疏索引,找到不大于目标的最近索引项,随后从对应文件位置顺序扫描到目标记录。

逻辑 offset 1048
      |
      v
定位候选 segment
      |
      v
稀疏索引:1040 -> 文件位置 B
      |
      v
从 B 顺序扫描 -> 找到目标记录批次

索引并不是每条消息一项,也不是把每个业务字段建成数据库索引。它优化的是按 Offset 定位日志。消费者不能因为消息 value 里有 order_id,就要求 Broker 像 MySQL 一样执行任意条件查询;这类检索通常由下游存储承担。OffsetIndex 的官方实现说明

为什么写入很快,仍不能把它当作不会丢失

一条写入大致经历客户端缓冲、网络发送、Broker 追加日志、操作系统页缓存以及后续磁盘写回。顺序追加和批处理减少随机操作,热点读取也可能直接命中页缓存。Kafka 存储设计

必须分清三个动作:文件写入成功、数据强制刷到稳定存储、其他副本已经接收。它们不是同一个时刻。生产者 acks=all 关注同步副本确认条件,并不等于每台机器都执行了 fsync;实际容错还依赖副本数、同步副本要求、刷盘策略和故障范围。第 1 篇是单副本学习配置,不能据此承诺主机掉电或磁盘损坏后数据完整。

Python 的 producer.flush() 只是等待客户端队列投递结果,同样不等于 Broker 磁盘强制刷盘。看到方法名相同的“flush”,要先判断它发生在客户端还是存储层。生产者确认配置

消费完成后为什么磁盘没有下降

先执行只读检查:

docker exec mq-demo-kafka ls -lh \
  /tmp/mq-demo-kafka-logs/mq-demo-events-0

docker exec mq-demo-kafka /opt/kafka/bin/kafka-configs.sh \
  --bootstrap-server kafka:29092 --entity-type topics \
  --entity-name mq-demo-events --describe

docker exec mq-demo-kafka /opt/kafka/bin/kafka-consumer-groups.sh \
  --bootstrap-server kafka:29092 --describe --group mq-demo-workers

预期分别看到分区文件、显式 Topic 配置、各分区消费进度。索引可能预分配空间,所以不能仅按索引文件大小反推消息数量。配置 describe 未显示的项可能使用 Broker 默认值;不要把“未显示”理解成“未启用”。

如果消费者已追平而文件仍存在,先确认 cleanup.policy。delete 表示历史段受保留策略约束,compact 表示按 key 清理被后续记录替代的旧状态,两种含义不同;compact 也不是消费一条删一条。入门阶段只用 delete,遇到状态快照需求时再研究 compact。

保留时间不是逐条消息的精准闹钟

与 delete 策略直接相关的几个参数:

  • retention.ms:按时间决定历史数据是否达到清理条件。
  • retention.bytes:按分区约束保留大小,不能当成整个 Topic 的硬磁盘限额。
  • segment.ms、segment.bytes:影响日志分段滚动,进而影响清理粒度。
  • file.delete.delay.ms:日志文件被标记删除后,实际移除还会有延迟。

时间或大小条件满足任一项,都可能推动历史段清理。执行还有后台检查、分段与删除延迟,所以不能承诺“第 60 秒每条记录准时消失”;也不能依靠消费者是否读取来保护过期历史。Topic 配置说明

用独立 Topic 观察清理,不改已有数据

下面新建专用 mq-demo-retention,只有这些学习消息使用短保留时间:

docker exec mq-demo-kafka /opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server kafka:29092 --create --if-not-exists \
  --topic mq-demo-retention --partitions 3 --replication-factor 1 \
  --config cleanup.policy=delete --config retention.ms=60000 \
  --config segment.ms=10000 --config file.delete.delay.ms=1000

python producer.py --topic mq-demo-retention --partition 0

等待超过十秒,再写一条以便观察分段变化:

python producer.py --topic mq-demo-retention --partition 0

docker exec mq-demo-kafka ls -lh \
  /tmp/mq-demo-kafka-logs/mq-demo-retention-0

docker exec mq-demo-kafka /opt/kafka/bin/kafka-get-offsets.sh \
  --bootstrap-server kafka:29092 --topic mq-demo-retention --time earliest

docker exec mq-demo-kafka /opt/kafka/bin/kafka-get-offsets.sh \
  --bootstrap-server kafka:29092 --topic mq-demo-retention --time latest

一段时间后重复两个 Offset 查询,并对比分区目录。预期现象是旧段满足条件后被清理,最早可读位置可能前移;具体时刻受消息时间戳、滚动和后台检查影响。本例 Broker 将保留检查间隔显式设为五秒,不能把它当作生产环境建议。若没有前移,先核对真实 Topic 配置、段时间和 Broker 日志,再判断,不能编造“已经清理成功”的结果。管理命令说明

容量与恢复先回答两个业务问题

第一,业务最长能接受下游停多久?保留时间必须覆盖正常处理、故障修复以及恢复追赶窗口;否则程序恢复时,原始消息可能已经删除。

第二,数据恢复能追上产生速度吗?保留更久只买到时间,不能修复持续低于写入速率的消费能力。粗略容量估算可以先用“每秒写入字节 × 保留秒数 × 副本数”,再为索引、段粒度、压缩变化和运维留空间;这只是规划起点,最终需要实测。

消费位点越过已清理范围时,客户端可能按 auto.offset.reset 重置。本系列学习示例使用 earliest 便于观察,但真实订单类场景可能需要显式报错、告警并补数据,不能悄悄跳过丢失区间。消息保留、位点管理与业务恢复要一起设计。

官方参考与核对范围

核对日期:2026-10-31。目录与清理实验为待实机执行步骤;未给出未经测量的磁盘、吞吐或延迟结果。源码链接用于解释索引结构,trunk 可能继续变化,Kafka 4.4 的实际配置以版本化文档为准。

记录过程,也留下判断。

← 继续阅读其他文章