ES 进度一直是 0%,为什么 recovery API 已经在变化?
从 ES 副本进度停在 0% 的问题出发,核对配置确认、任务统计、分片就绪与文件恢复的不同分母,解释复用字节、TRANSLOG 阶段和活动记录消失的含义,并结合平台代码与模拟用例说明验证边界。
看到 ES 页面一直停在 0%,同时 recovery API 的字节数持续变化,先核对进度字段的分母。副本进入 STARTED 的比例、文件恢复阶段的处理比例、任务处理文档的比例,分别回答不同问题。把它们放进同一个“总进度”,很容易把正常恢复看成停滞,也容易提前宣布完成。
这个问题来自算法优化平台的 ES 管理功能。本文将现场问题、历史提交与当前实现分开讨论。缺少现场完整响应和 ES 精确版本,无法重建当时每一秒的状态,但源码已经能够解释这类显示差异。
同一次操作有几种观察对象
修改副本数时,配置接口返回 acknowledged,说明这次设置更新获得确认。后续还需要调度副本、选择节点、恢复数据,再进入可用状态。运维页面应分别展示配置目标和副本实际状态。索引设置 API
/_tasks 展示节点上当前可观察的任务。任务状态随操作类型变化,不能假设每种任务都有可相除的 total 和 processed。当前后端的任务详情针对文档处理统计,将 updated、created、deleted、noops 相加,再除以 total。缺少总量时返回空值。任务列表则展示动作、节点、父任务和耗时。Tasks API
分片 recovery 关心一个分片副本如何恢复。它可以发生在新增副本、节点重启、迁移和快照恢复等过程中。平台自己的缩容任务还有业务阶段与检查点。排障时应先明确当前查看的是哪个对象,再选择相应接口。Recovery API
历史上的 0% 如何产生
历史副本状态接口按“已 STARTED 的副本数 ÷ 预期副本数”计算进度。预期数量来自主分片数乘以配置副本数。这种口径能够表达就绪比例,却只能在副本状态发生转换时前进。
假设只有一个待创建副本,它处于 INITIALIZING,文件已经处理了一半。按就绪比例计算仍是 0%。这个数字与 recovery 中不断变化的字节数可以同时成立。这里的数量仅用于说明机制。
历史提交 49c9561 给副本状态接口补充 Recovery 统计,同时保留 shard_progress。当前实现还返回 recovery_progress、阶段分布和 completed。兼容字段 progress 先检查 completed,已经满足完成条件时返回 100%;尚未完成且存在可用活动恢复进度时使用恢复进度,其余情况使用分片就绪比例。
分片就绪比例还有一个边界。配置副本数为零时,当前接口将目标副本比例记为 100%,表示副本数量目标已经满足。主分片健康、文档一致性和其他运维步骤仍有各自的验证对象。因此,面板需要把配置数量、就绪数量与健康状态一起呈现。
这意味着同名字段的观察口径可能切换。图上出现跳动时,要同时检查活动恢复集合、阶段和更新时间。该实现能够补充过程可见性,整项操作的准确统一百分比仍缺少共同分母。
复用字节和传输字节要分开理解
当前实时分片模块使用“已复用字节+已恢复字节”除以总文件字节。复用表示目标已有文件可直接使用,相应字节可以计入文件处理完成度。若需要判断传输速率,应单独观察 recovered 字节随时间的变化,并核实恢复来源。
下面用纯数字演示平台口径,可以直接运行。
# 教学数据仅说明文件处理比例,不代表现场索引规模。
total_bytes = 1000
reused_bytes = 600
recovered_bytes = 100
# 总量未知时保留空值,避免把未知显示成零。
file_progress = None
if total_bytes > 0:
processed_bytes = min(reused_bytes + recovered_bytes, total_bytes)
file_progress = round(processed_bytes * 100 / total_bytes, 1)
assert file_progress == 70.0
还要留意原生百分比。核对的 Elasticsearch 8.19.0 RecoveryState.Index.recoveredBytesPercent() 会排除复用文件,只计算待恢复文件中已恢复的比例。上例若按该口径计算,结果为 25%。平台的 70% 与它各有分母,界面与指标名需要保留这层区别。这里以固定版本说明机制,现场版本仍需补齐。8.19.0 恢复状态源码
副本汇总接口有字节总量时按字节加权,缺少总量时还可能回退到响应中的 percent。只知道百分比的记录无法参与相同的字节加权,汇总值的覆盖范围也要交代。少量小分片与一个大分片直接平均,会让读者误判剩余工作量。
副本状态接口使用 active_only=false,可能同时拿到活动恢复和已有副本最近一次已完成的恢复。这些记录的字节汇总描述当前可见集合,未绑定某次配置变更的任务身份。拿它当作一次副本调整的固定工作清单,会高估进展。实时分片模块使用 active_only=true,两处结果也应按各自范围解读。
文件进度到 100% 后还要看阶段
文件复制之后,恢复还可能经过 VERIFY_INDEX、TRANSLOG 和 FINALIZE。尤其进入 TRANSLOG 时,文件处理比例已经达到 100%,事务日志回放仍可继续。当前前端将这一列标为“文件恢复进度”,并单独显示恢复阶段,保留这两项信息才能解释等待发生在哪里。恢复阶段说明
代码里的一个模拟用例正好覆盖这种情况。记录处于 TRANSLOG,复用 30 字节、恢复 70 字节、总量 100 字节,预期文件进度为 100%,阶段仍保持 TRANSLOG。该测试证明字段转换符合约定。真实完成时间还受后续回放、协调和节点状态影响。
也不能预先把总进度划成“文件占八成,回放占两成”。两个阶段的工作单位、耗时和执行条件不同,持续写入还会改变后续操作量。除非产品明确采用经验估算并标注误差,否则应分别展示文件比例、回放数量、阶段和耗时,让读者据实判断。
当路由为 UNASSIGNED,或 Recovery 查询失败,实时模块保留路由,并将文件进度置空。前端显示“暂无字节总量”,查询失败另有提示。这样可以区分尚未恢复、暂时缺失数据和真正观察到零进展。
一条记录消失以后怎样核实
实时模块只查询活动 Recovery,并只展示 RELOCATING、INITIALIZING、UNASSIGNED 路由。记录从列表消失,可能与恢复结束、路由变化、查询范围变化或副本不再存在有关。Recovery API 也只保留当前存在副本最近一次恢复的信息,无法充当完整历史审计。Recovery 的保留范围
当前前端在选中记录消失后保留最后观察值,并提示刷新索引详情核实最终分配。副本状态接口则检查实际副本数量与预期一致、全部 STARTED,且没有初始化、迁移和未分配副本,再设置 completed。任务从活动列表消失后也要查最终响应中的错误、失败项和超时,404 应保留为最终结果暂不可获取。任务详情 API
连续观察时,也要确认仍是同一份分片副本。节点变化或重新分配后,新的恢复可能重新统计字节,旧百分比无法直接接着累加。平台行标识使用 allocation ID 等信息区分记录,排障笔记也应保留身份变化,避免把一次重试误认为进度倒退。
关联恢复信息还需要目标节点身份。相同索引、分片编号和主副本标志下可能存在多个副本,当前代码增加 target node ID 匹配,并合并迁移源和目标两端。否则可能把另一份副本的进度挂到当前行,甚至重复计算一次迁移。
排障时保留口径和采样范围
我会先保存具体索引的配置、路由和 Recovery 响应,记录采样时间,再看阶段、复用字节、恢复字节和 translog 操作数如何变化。持续 UNASSIGNED 时,对指定分片查询 allocation explain,核对磁盘、节点约束和分配决策。分配解释 API
路由与 Recovery 是两次独立读取,即使并行请求,也可能跨越状态转换。一次关联缺失时,应保留未知值,并在后续采样中核实。不要为进度条连续而人为补值。
监控本身也有成本。当前模块在指定索引范围时最多接受 20 个准确物理名称,空范围会查询整集群,前端也提供这个选项。展示结果截取到 1000 行,截取发生在读取之后,上游响应仍随查询范围扩大。前端分页主要限制渲染量,大集群应优先缩小范围,降低刷新频率。
本轮核对了 ad0eb38、副本状态实现和前端 runtime-status,并检查模拟测试源码。历史验收记录提到真实只读采样时没有活动迁移,这不足以验证持续恢复过程。实际验收仍需观察一次可控恢复,检查阶段切换、失败提示与最终路由。文章里的百分比都应带着对象、阶段、分母和时间阅读。
记录过程,也留下判断。
← 继续阅读其他文章