ES 历史索引分片太多,如何缩到 1 个并保留原名?
历史小索引从 3 主分片缩到 1 主分片并保留原物理名称,需要覆盖快照隔离恢复、全量数据指纹、主副本健康和配置恢复。结合管理平台的当前实现,说明 Shrink、Clone、一次授权与失败恢复的边界,明确真实自动执行仍待部署验收。
历史小索引从 3 个主分片缩到 1 个,同时保留原物理名称,可以采用先 Shrink 到临时索引、校验后删除旧索引,再 Clone 回原名的路线。前提是允许维护窗口,并且在删除之前,已经证明临时数据完整、本轮快照能够恢复。
我在管理平台实现这项能力时,把主要精力放在了删除前后的校验与恢复上。当前代码已支持一次授权后自动推进,真实集群的自动替换与清理仍待部署验收。下面介绍代码中的流程与限制。
保留原名需要付出什么代价
假设历史索引 A 有 3 个主分片,每个主分片有 1 个副本,配置分片数就是 6。完成缩容并清理临时索引后,目标为 1 主分片、1 副本,配置分片数变成 2。这里减少的是 4 个配置分片,实际分配量和资源变化还要现场核对。
保留原物理名称的要求,意味着旧 A 必须先腾出名称,才能创建新的同名索引。旧 A 删除到新 A 恢复可读之间存在访问中断,整个维护过程还需要暂停写入和外部运维。名称恢复后,索引 UUID 已经变化,调用方持有的旧并发控制信息也需要重新读取。
Shrink 会创建更少主分片的新索引,目标分片数必须是源分片数的因子。3→1 满足这个条件。执行前,源索引需要禁止写入、健康为 green,并让每个分片的一份副本集中在同一节点,还要核对单分片文档上限和磁盘空间。Elastic Shrink API
当前实现把范围收窄到明确、开放的普通物理索引,按 ES 8.x 协议处理。系统与隐藏索引、数据流后备索引、CCR 跟随索引、仍受 ILM 管理的索引,以及无法安全恢复的配置都会阻断。历史日期只能帮助筛选,维护确认仍须核实写入确实暂停。
先证明快照可以恢复
流程里有三个准备对象。A 是原索引,B 是缩容后的临时索引,C 是从本轮快照恢复出来的验证索引。B、C 使用独立维护前缀,并与业务别名隔离,以减少正常业务索引模式重复命中的机会。维护前还需核对业务查询范围,使用 *、_all 或覆盖维护前缀的查询仍可能读到这些临时副本,需要明确排除。
第一步保存原配置,再通过专用写阻断 API 冻结 A,核对分片确认和在途写入结束,然后 refresh。专用 API 对写阻断的完成保证,是建立后续数据基线的重要前提。Elastic 索引阻断说明
随后只为 A 创建本轮快照,关闭全局状态备份,拒绝 partial。快照达到 SUCCESS 且无失败分片之后,再恢复到独占名称 C。恢复请求的关键参数可以用下面的脱敏示例说明。
{
"indices": "history-archive-2024-01",
"include_global_state": false,
"include_aliases": false,
"feature_states": ["none"],
"partial": false,
"ignore_unavailable": false,
"rename_pattern": "^history-archive-2024-01$",
"rename_replacement": "maintenance-verify-example",
"index_settings": {
"index.blocks.write": true,
"index.number_of_replicas": 0
}
}
这些参数限定恢复范围,避免引入业务别名、全局状态或缺失分片。C 保留快照原主分片数,0 副本仅用于隔离验证。恢复 API 无法把快照中的 3 个主分片直接改为 1 个。Elastic 快照恢复 API
C 恢复完成后,要完整读取并与冻结 A 比较。校验通过、A 和快照仍完整,才按记录的 UUID 清理 C,再集中源分片并生成 B。如果需要临时把源副本降到 0,这一步安排在快照恢复验证之后,并要求明确授权。
仓库存储需要与源数据节点故障隔离,外部保留策略也要保护本轮快照。当前功能在任务完成后继续保留快照,释放期限另行确认。这些条件都影响删除门槛。
数量相同,还缺哪些证据
A 有多少条,B 也有多少条,只证明数量相同。正文末尾被截断、routing 改变、Mapping 漏项,都可能逃过这种检查。
当前执行器逐页读取完整 _source、_id 和 _routing,对象键排序后做规范化,保留数组顺序、值类型及 null 的区别。每条文档生成 SHA-256 摘要,再以确定顺序形成索引摘要,同时记录数量、算法版本和 Mapping 摘要。
实现使用本地临时 SQLite 保存 ID、routing 和正文摘要,借助磁盘排序控制内存,临时文件只保存校验信息。读取覆盖全部文档,网络遍历为 O(N),还要承担规范化、哈希与排序成本。多个阶段会重复校验,维护窗口和临时磁盘预算都要容纳这些开销。
每页都检查超时、提前终止和失败分片,最终读取数量必须与精确总数一致。分页截断、scroll 失效或正文缺失,会使本轮证据失效。禁用、裁剪或合成 _source 的索引,也超出了当前完整原始正文校验口径。
使用自定义 routing 时,同一个 _id 可能分布在不同分片。当前版本遇到跨 routing 的重复 ID 就拒绝缩为 1 主分片,保留原数据,交给人工处理歧义。Elastic 自定义 routing 与 ID 唯一性
原名回迁,保护持续到清理结束
B 创建时显式保持写保护、隔离业务别名,并设置目标副本数。等目标主副本全部健康,核对配置,再完整比较 A、B 与冻结基线,才具备替换旧 A 的基础。
真正发出删除前,还要重新检查本轮快照、恢复验证记录、A 与 B 的 UUID、写阻断、配置、数据、维护互斥和授权。A 删除后,从 B Clone 出原名 A,目标仍为 1 主分片,副本数显式指定。
Clone 要求源与目标主分片数一致,并会创建新的索引实例。它保留源 Mapping 和大部分设置,但别名、生命周期等元数据需要另外处理,副本设置也应显式传入。Elastic Clone API
因此,回迁后要恢复原别名的完整定义,逐项核对适用设置,包括慢日志、延迟分配等已支持项。原来的 number_of_shards=3、UUID、创建版本等字段需要区别处理,迁移增加的单节点限制则应清除。
新 A 保持写保护,等主副本健康、配置和别名恢复、完整指纹一致以后,才允许清理 B。确认 B 已删除后,再复核新 A,并恢复原写保护状态。若原先允许写入,此时才重新开放。
资源检查也跟着阶段走。C 的隔离恢复、B 的创建、Clone 和应急恢复都会占用空间及分片余量。硬链接是否可用取决于文件系统与数据路径,容量预算必须覆盖可能发生的完整复制。Elastic Shrink 的段文件与空间要求
一次授权覆盖本轮,异常仍会停止
新版本将自动完成授权保存在 checkpoint,绑定轮次 generation、集群 UUID、源名称与 UUID、临时名称及目标主副本数。API 保存授权并排队,独立 worker 在各阶段校验通过后推进替换和清理。
重新准备会生成新轮次,清除旧授权,重新冻结、备份和验证。旧任务仍兼容分阶段确认。写请求结果未知、身份变化、快照丢失或数据不同,都会停止推进,留下可核查的对象。
失败处理取决于是否跨过旧 A 的删除边界。
- 删除前失败,保留数据。核实旧请求结果后,可以重新准备,也可以明确结束维护,先恢复副本和分配设置,等待健康,再恢复原写保护。
- 删除后失败,优先保留 B 和快照,从原任务继续回迁。原名被外部索引占用时停止,保留占用者。
- B 无法使用时,经人工确认走快照应急恢复,允许先恢复为 3 主分片。记录数据恢复与缩容失败,待原名、配置和副本核对后结束维护。
截至本轮材料,文档记录相关后端 301 项模拟回归通过,覆盖正常闭环、授权失效、身份冲突、数据差异和响应丢失等分支。传输测试使用真实 Python SDK 与内存模拟节点。本次写作只读核查源码和记录,真实 MySQL 锁竞争、目标 ES 小版本的恢复演练,以及自动替换清理仍待部署验收。
这条路线适合允许维护窗口、历史数据稳定且要求原物理名称的场景。最终验收要同时落在名称、数据、配置、副本、临时对象清理与快照保留上,满足这些条件后,才计算完成后的分片减少量。
记录过程,也留下判断。
← 继续阅读其他文章