请求超时以后,危险操作到底该不该重试?
跨系统危险操作超时后,远端可能已经完成,也可能仍在执行。结合维护任务的操作意图、UUID、checkpoint 和恢复路径,说明如何核实结果、补记进度、限制重放,以及命名锁、一次授权与模拟测试各自的边界。
危险操作超时以后,先把结果记为未知,再依据操作意图和远端事实决定下一步。能够证明已经完成,就补记结果并继续后续阶段。能够证明没有执行,而且原前提仍有效,才考虑再次发送。证据不足时停下核查。
我在为一个管理平台实现 ES 维护任务时,把这条原则放进了 API、任务检查点和独立 worker。下面以其中的删除与创建操作为例,讨论跨系统恢复。代码已经具备这些保护,真实环境的完整故障演练仍在待验收范围。
超时以后,事实可能停在三处
设想 worker 要删除一个旧索引。平台先保存任务状态,再请求 ES,最后把结果写回数据库。进程可能在请求发出前退出,也可能在 ES 已完成后失去响应,还可能收到成功响应却没来得及保存结果。
对于重启后的程序,这几个现场都可能只剩下一条未完成记录。如果直接把它改成失败,再套三次重试,程序就放弃了区分事实的机会。
客户端超时控制等待响应的时间,ES API 还可能有独立的服务端超时。恢复逻辑需要根据具体操作核对远端状态。以 Clone 为例,返回创建确认时,目标分片甚至可能尚未开始分配,后面还要经历初始化和副本恢复。Elastic Python 客户端超时说明、Elastic Clone 的恢复过程
由这个机制可以推导,关闭页面、取消本地等待、重启 worker,都不足以证明远端修改已经停止。管理界面的“待核实”需要一路传递到后台调度,直到旧请求得到核对。
把意图放在副作用前面
当前实现的基本顺序是短事务提交意图、发送一次 ES 修改、读取或核实结果、短事务保存结果。任务库与 ES 各自提交,检查点负责保存二者之间的恢复依据。
操作意图包含本轮标识、动作、HTTP 方法和路径、参数摘要、预期对象 UUID、时间及状态。下面是脱敏后的结构示意,名称与 UUID 都是说明用占位符。
{
"key": "round-example:delete_source",
"method": "DELETE",
"path": "/history-archive-2024-01",
"body_digest": "sha256-of-canonical-null",
"expected": {
"history-archive-2024-01": "U1",
"maintenance-copy-example": "U2"
},
"status": "sent"
}
这里连负责保留数据的对象 U2 也进入预期身份。删除操作需要证明删谁,以及删除后依赖谁恢复。请求参数摘要用于发现同一操作被换了参数,无法替代完整的数据校验证据。
sent 在网络调用前就已落盘,其恢复含义覆盖“可能已经发送、结果尚未核实”。意图保存失败就停止发出修改,保存成功后即使网络调用尚未发生,重启也按未知结果处理。
下面的伪代码展示顺序,具体异常会在外层将任务停为失败待核查。
# 示意流程,持久化和远端调用分别提交。
await store.save_intent(task, operation)
await verify_lock_owner()
# 单次发送,连接异常时保留未确认意图。
response = await remote.send_once(operation)
# 结合实际身份与状态核实,再持久化结果。
await verify_lock_owner()
observed = await reconcile(operation, response)
await store.save_observed(task, observed)
现有执行器将客户端 max_retries 设为 0。SDK 支持通过这个配置关闭重试,恢复决策由业务检查点承担。只设置 retry_on_timeout=false 仍需核对其他重试条件及中间层行为。Elastic Python 客户端重试配置
同一个名称,可能已经换了对象
如果旧索引名称为 A、UUID 为 U1,后来被外部程序删除并重建,名称仍是 A,UUID 已变为 U4。重新发送 DELETE /A 会指向当前对象。
所以当前任务始终保留原 U1。任务创建的临时对象和回迁对象分别保存 U2、U3,阶段切换后使用对应身份。禁止通过修改原 UUID 字段来“修复”冲突。
未知结果核查可以分为几个具体分支。
- 删除意图存在,A 已不存在,且保留对象及备份仍符合预期,可以核对后补记删除结果,转入后续恢复。
- 删除意图存在,旧 U1 仍存在,当前实现停止自动推进,等待人工核查,避免重发一个仍可能在途的删除。
- A 存在但属于 U4,保留这个外部对象,停止自动接管与清理。
- 创建目标已经出现,核对本轮意图、创建回执、目标 UUID 及可用来源证据,确认归属后继续等待或校验。
目标暂时不存在,也不足以证明创建从未执行。请求可能仍在远端排队。程序必须先排除旧请求在途的可能,再决定是否有重发条件。
UUID 提供对象身份,正文是否变化还依赖冻结连续性和数据基线。即使 UUID 相同,中途恢复过写入,也会使旧校验与授权失去适用前提。
来源证据也有生命周期
这次实现里有一个值得单独讨论的边界。早期核对逻辑依赖 resize 来源设置,模拟服务也一直保留这些字段。实际故障材料记录,主分片恢复完成后来源字段已经清除,导致代码无法按旧条件认领目标。
Elastic 8.15.1 的官方类文档明确说明,ResizeSourceIndexSettingsUpdater 会在所有主分片启动后移除用于 resize 的设置。归属判断需要考虑这些临时字段的生命周期。Elastic 8.15.1 官方类文档
修复后的流程先保存收到的创建回执,再及时读取并绑定目标 UUID。后续恢复结合已保存身份与回执核对,尚存的来源设置也必须一致。
如果响应丢失、目标 UUID 没有可靠记录、来源字段又已消失,系统停止自动推进,转入人工核查。当前代码仅为特定旧版失败记录提供严格兼容分支,结合时间区间、原生恢复类型、写保护、备份及完整数据证据补证,随后重新准备。这个入口具有明确适用条件。
这也说明,全量数据相同只能补充内容证据,对象归属、操作授权和请求状态仍要分别证明。两个内容相同的索引,也可能由不同操作创建。
恢复幂等需要保存判断依据
仅有一个 stage=clone,无法回答创建请求是否发出、目标属于谁、旧对象是否已删。当前 checkpoint 分开保存对象身份、操作历史、数据摘要、确认记录和恢复结论。
恢复时先读远端事实,再结合检查点推进。已经完成的副作用通过核实后补记,保留下来的历史意图继续用于检查删除边界。最后一次状态更新失败,也应从原任务核对,避免创建第二组对象。
并发控制同样参与恢复。当前 worker 使用专用 MySQL 连接持有命名锁,修改前后复查所有权。任务保存通过短事务行锁及状态、阶段、更新时间比较,发现并发修改就要求重新读取。失锁后旧 ES 请求仍可能在途,新执行者需要先处理这些遗留事实。
同名操作的 UUID 预检与 ES 按名称删除之间,仍存在跨系统间隙。平台锁约束平台内入口,维护期间暂停外部修改和自动建索引依然是前提。这里需要真实环境的权限和流程一起落实。
当前调度器遇到失败任务中的未知请求,会暂停领取新工作。当前 worker 遇到未知写请求异常还会结束执行循环,人工核实并通过任务动作保存恢复授权后,需要按启动流程重新启动独立 worker。进程重启遇到历史 running 记录也会先停止,要求核对并确认恢复。这种保守处理会影响后续任务进度,代价是可见的,需要在维护安排中接受。
授权也进入检查点。一次授权绑定当前轮次和对象范围,重新准备时清除旧授权。失败任务需要经过恢复入口核对,用户再点一次自动完成也无法越过未知请求。
把未知结果作为验收对象
这套实现的文档记录了 301 项相关后端模拟回归,范围包括响应丢失、创建身份缺失、外部同名索引、锁丢失、旧令牌、重新准备以及自动完成边界。部分测试使用真实 SDK 和内存节点核对序列化与请求行为。本次写作核查了代码及测试源码,记录中的通过结果属于既有验证。
部署验收还需要在可丢弃对象上复现意图提交后退出、远端成功后断开响应、结果保存前退出,以及真实 MySQL 断连与锁竞争。每次都应记录远端对象身份、在途请求判定和恢复动作,观察保留对象是否符合预期。
同样的分析方式可以用于其他跨系统危险操作。先明确资源身份、远端结果查询方式、授权范围和证据有效期,再决定如何恢复。具体实现仍取决于目标系统提供的能力。
所以,超时以后是否重试,答案最终落在证据上。恢复程序能够解释上一次操作发生了什么、目前由谁继续、下一步会作用于哪个对象,重试才有可验证的边界。
记录过程,也留下判断。
← 继续阅读其他文章