从 ES 迁到 MySQL,为什么回滚不能只切一个开关?

罗兴波发布于
文章摘要

从一次手动专题迁移设计出发,梳理在线预拷贝、写入屏障、在途排空、最终对账和回滚追平。数据切换后仍会变化,回退必须保留新增、删除与状态更新,也要区分应用回退和存储回退。

跨存储迁移要搬走数据,也要交接持续修改这些数据的业务。只要切换后还会新增文章、移出成员或修改分析结果,回滚就必须处理这些新变化。把配置从 MySQL 改回 ES,并不会自动把数据带回去。

在 2026 年 10 月 15 日的手动专题管理设计中,我们准备将专题主信息、成员关系和业务统计从 ES 迁入 MySQL,让 ES 继续承担搜索。这次讨论让我把注意力放到了切换与回滚的顺序上:怎样界定最后一次旧写,怎样接住切换期间的新文章,以及已经写进 MySQL 的变化如何在回退时保留下来。

下面记录的是这次设计评审中的取舍。它还不是一次已完成的生产迁移复盘,没有可据此承诺的停机时长、迁移耗时或零丢失验收结果。

先说清楚迁移后的数据由谁负责

原来的专题数据分散在几处:专题状态中保存标题、追踪状态和篇数,成员索引保存文章与专题关系,文章扩展信息里还有旧版归属和兼容字段。

因此,“把专题复制到 MySQL”需要进一步拆开:

  • 专题本身是否存在,当前是否启用、删除或追踪。
  • 哪些文章现在属于这个专题,分别因什么条件加入。
  • 相关性及后续分析执行到哪一步,当前有效结果是哪一版。
  • 当前统计由哪些成员和结果计算而来。

这些业务事实迁移后,应由 MySQL 决定。ES 中为搜索保存的冗余专题标识可以异步更新,但不能再反过来决定关系是否存在。

原文和完整分析的存储也有边界。如果它们仍只有 ES 一份,就不能说整个系统的 ES 已经成为可以随时丢弃重建的纯搜索副本。专题业务迁移与原始内容的持久化来源需要分别说明。

还有一个容易混淆的成员来源:旧系统为了支持“移出当前专题后恢复上一个归属”,保存了恢复上下文。它表达的是被覆盖的历史状态,不一定是当前有效关系。

例如文章曾属于专题甲,后来被放入专题乙,历史上下文仍记着甲。迁移时若把“当前归属”和“历史恢复记录”全部展开成有效成员,就会凭空扩大成员集合,连带改变统计。当前关系要按当前有效来源恢复,历史恢复信息单独保留。

在线预拷贝只能减少切换时要做的工作

我倾向于先在线复制一轮,让大部分存量数据提前进入 MySQL。复制按机构、专题和稳定标识分批执行,重复执行不能重复建立成员,也不能触发补采或重新分析。

但这轮数据天然可能落后。复制期间,用户仍会编辑关键词、删除专题、移出文章,消费者也仍在添加成员。一张“复制成功”的报告,只能证明这轮读取和写入完成,不能证明新旧两边此刻已经相同。

分页本身还需要一致性边界。Elastic 的分页文档说明,普通 search_after 请求之间发生 refresh 时,结果顺序可能变化;PIT 可以为分页保留一个读取视图。它解决的是这一轮怎样读,不能把视图建立之后的新写也一起搬走。Elastic 8.19 分页文档。

MySQL 的一致性读同样有事务和隔离级别边界。在 InnoDB 的 REPEATABLE READ 下,同一事务内的一致性读可以使用同一个快照,但它不会给 MySQL 和 ES 建立一个共同的跨系统快照。MySQL 8.4 一致性读说明。

所以预拷贝之后仍需要最终交接。我的建议是先按一个机构切换,用可控的专题写入窗口换取明确的一致性边界。窗口多长,要由数据规模和预演结果回答,不能在方案阶段先填一个漂亮数字。

先阻止新任务进入旧链路,再排空在途任务

停止写入的范围不能只看 HTTP 接口。

专题可能同时被管理接口、Go 消费者、Python 兼容流程、规则回扫、人工加入移除以及维护脚本修改。只封住页面按钮,其他写方仍可能在导出之后补进一批关系。

我会把顺序写成下面这样:

  1. 目标机构进入维护状态,所有旧写方检查同一个切换状态,阻止新任务进入旧写流程。
  2. 记录队列位置或明确的切换屏障,并停止启动新的旧写任务。
  3. 等待已经执行中的旧写结束,核实是否还有超时或结果未知的操作。
  4. 确认最后一批旧写已经持久化,并且对最终迁移读取可见。
  5. 在稳定来源上做最终同步和对账,再切换权威存储。

这里的先后不能反过来。先等旧任务完成、再停止接收新任务,可能永远等不到一个真正安静的时刻。已有的消费者优雅退出实践也强调“停止接收”和“取消在途”是两件事,迁移窗口还要把同样的约束扩大到所有写方。

如果最终导出依赖 ES 的 search,还要检查最后的写入是否已对搜索可见。不能用“写请求返回成功”替代这项检查,也不能靠固定睡眠证明所有相关分片都已可见。Elastic refresh 参数说明。

暂停专题应用新事件,也不意味着切断上游投递。窗口里的文章必须继续可靠留在队列或已经持久化的接收记录里。

尤其要注意,一个 Kafka 分区可能混着多个机构。不能跳过维护中的机构消息,却继续提交同分区后面的完成位置。Kafka 的恢复位置按分区维护,不是按机构维护。暂停整个相关分区可能影响其他机构;使用持久化接收层则增加实现成本。选择哪一种,需要结合当前调度方式确定,但“过滤后直接提交”不在安全选项里。Kafka 4.1 Consumer 位点说明。

最终核对要覆盖删除,也要核对业务含义

只补一遍 updated_at > 上次水位,不能覆盖所有差异。

物理删除的记录已经不在来源里,查询“最近更新”不会把它再返回。成员还可能保留着,但关键词命中原因已撤销,只剩账号或人工加入原因;这类变化也需要验证更新时间和版本是否完整表达了业务变更。

对于这次专题迁移,我会至少核对三层内容:

  • 主信息:专题标识、状态、配置和版本。
  • 关系:去重后的文章集合,以及每条关系当前有效的加入原因。
  • 结果:分析状态、有效结果版本,以及据此重建的统计。

两边各有一千条关系,不代表关系集合相同。总数一致,仍可能是一边漏了文章甲、另一边多了文章乙。按专题计算稳定身份及关键字段的摘要有助于发现差异,差异项再逐条定位,不能只比较一个总数。

旧篇数也不应直接成为迁移标准答案。如果历史聚合本来就有延迟或缺口,直接复制它只会把问题带入新库。更稳妥的做法是先解释关系来源,再按选定口径重建统计,把“旧统计与新统计不同”记录成可追溯差异。

遇到原文缺失,同样应先保留已有有效关系并记录内容缺口。搜索文档是否存在,不能悄悄改写本次要交接的业务事实。

接受第一笔 MySQL 新写之后,回滚条件就变了

用一个简化例子看这个窗口:

切换前:ES 中,专题包含文章 A、B
切换后:MySQL 新增文章 C,并移出了 B
此时:MySQL 是 A、C;旧 ES 仍可能是 A、B

如果直接把读取和写入开关切回 ES,文章 C 会从业务视图里消失,文章 B 又会回来。即使切换前的备份完全正确,也无法包含切换之后发生的这两次操作。

因此,预先保留旧库只是回滚条件的一部分。切换后还要能识别哪些新变化已经提交,哪些投影已确认完成,哪些仍待重试。变化必须包含新增、修改、删除及命中原因撤销,不能只留一份新增记录列表。

若确实要回到 ES 权威,我会按相反方向再次交接:

  1. 暂停 MySQL 业务新写并阻止继续启动任务。
  2. 等待在途事务和结果未知的操作得到明确处理,记录回退检查点。
  3. 将已提交的变化追平到旧版能够读取的 ES 兼容结构。
  4. 对照权威关系、状态和统计核对,确认删除与旧消息乱序不会恢复过期状态。
  5. 切回后再恢复业务写入,让队列中的待处理消息由选定链路接续处理。

这不要求无期限维护两套主库。观察期里可以由 MySQL 单向生成兼容投影;ES 仍只是投影,失败可重试。只有在回退交接完成后,权威关系才改变。允许新旧业务同时各写一份,再期待它们事后碰巧一致,会让后续每一次对账都失去明确依据。

应用回退与存储回退需要分开决定

还有一种情况:MySQL 数据完整,故障只是新版页面或某个业务分支。此时回退到仍兼容 MySQL 的应用版本,往往比重新交接存储更合适。

反过来,新功能已经使用账号多对多关系、独立分析状态或导入任务,旧版 ES 结构未必能够表达这些事实。即使复制程序没有报错,旧程序也可能只读到一部分,或者将新状态错误地折叠为旧布尔值。

所以回滚预案需要写清楚:

  • 允许退到哪个应用版本,它是否理解当前 MySQL 结构与状态。
  • 旧存储投影能保留哪些业务信息,哪些新功能在旧版中无法表达。
  • 回退期间哪些写入口暂停,未处理消息保留在哪里。
  • 哪些检查不通过时,应停止回切并继续保持 MySQL 权威。

不能把“存在旧镜像”和“业务可以无损回退”写成同一件事。新功能上线前,也应重新评估观察期里保留的兼容能力是否仍然成立。

我会怎样验收这份回滚预案

在正式切换前,我会用隔离环境覆盖几个具体场景:预拷贝后删除成员、切换前最后一批写入延迟可见、混合机构分区存在未完成消息、MySQL 接受新写后投影失败,以及旧投影消息晚于删除到达。

每个场景都要回答同样的问题:操作是否已提交、当前谁负责这条关系、重试是否重复计数、回切会不会丢失或恢复错误成员。还要检查历史恢复上下文没有被误当作有效关系,复制任务在切换后也不会拿旧快照覆盖新写。

当时这份方案还需要详细契约和真实预演来验证这些条件。完成标准应当包含数据与消息的接续证据,而不只是迁移程序退出码为零。

回滚能力需要在切换前准备好,并随着新功能演进持续检查。接受第一笔新写以后,回退就是一次有方向、有边界的数据交接;检查点、业务关系和应用兼容性都核对通过后,才能恢复旧链路写入。

记录过程,也留下判断。

← 继续阅读其他文章