为什么要让 ES 回归搜索,把业务关系交回 MySQL?

罗兴波发布于
文章摘要

规则存进 MySQL,不代表专题业务已经完成迁移。结合手动专题的关系、追踪状态和聚合重建,讨论业务事实与搜索投影的边界、事务能覆盖的范围,以及拆分后必须承担的同步、分页和内容重建代价。

2026 年 10 月 15 日,专题管理的需求已经扩展到文章归属、追踪采集、分析状态和统计。我准备把这些业务数据从 Elasticsearch 迁回 MySQL,让 ES 专注搜索。

让我做出这个判断的,是一次职责检查:关键词规则已经在 MySQL,专题和文章之间的关系却还由 ES 维护;读取不到搜索文档,甚至可能影响专题重建后的文章数量。

这意味着,ES 中的内容可用性已经参与决定业务事实。继续优化查询和增加重试,还不足以解决这种耦合。

本文讨论的是这次手动专题改造中的存储边界和设计取舍。迁移方案尚未执行,下面不会把计划中的事务、投影和归档能力写成已经上线的结果。

规则进了 MySQL,业务却没有真正迁过去

最初梳理时,很容易得到一个乐观判断:既然实时匹配规则已经存入 MySQL,专题管理应该已经完成了主要的关系化改造。

但沿着实际读写链路往下看,会发现至少还有几类数据留在 ES:

  • 专题的标题、摘要、状态和追踪时间。
  • 文章属于哪些专题,以及为什么加入。
  • 专题文章数、平台分布、互动量和评论量。
  • 风险、情感和对应的分布统计。
  • 首发文章、代表文章和样本文章。

规则表解决的是“消费者用什么条件匹配文章”。成员关系解决的是“哪些文章已经属于这个专题”。专题状态和聚合解决的是“用户现在看到什么、可以做什么”。它们不是同一层数据。

这也是我重新理解迁移范围的起点:一张规则表建好了,只能说明规则有了新的存储位置。只要新增成员、取消追踪、删除专题和计算篇数仍然依赖 ES,专题业务的权威来源就还没有发生完整变化。

我之前做关键词本地匹配优化时,主要目标是减少逐篇、逐规则请求 ES。那次优化解决了匹配计算放在哪里的问题。这次要回答的,则是业务事实由谁保存、由谁决定。

一个重建细节,让存储职责变得具体

审查 Go 消费者时,有一段逻辑很能说明这个问题。

它先加载专题成员,再从 ES 批量读取成员文章。重建时,只把能够取到原文的成员放进有效成员集合,最后用这个集合的长度写回专题文章数。

这个实现可以理解:平台、情感、风险和互动量都在文章文档里,重建需要读取它们。可它也把两个问题合在了一起:

  1. 这篇文章是否属于专题?
  2. 此刻能否读取到它的搜索文档?

设想成员关系中记录了三篇文章,而其中一篇的搜索文档暂时不可用。这个例子只是说明代码机制,不是一次已经证实的线上事故。按上述路径重建,文章数量可能按两篇计算,尽管成员记录本身并没有被业务操作删除。

如果未来 MySQL 已经保存了成员关系,仍然沿用这种重建方式,结果就是名义上关系迁过去了,实际判断权还留在 ES。

我希望的新行为是:关系存在与内容暂不可用分别表达。列表可以提示文章内容暂时无法展示,但不能仅因为 ES 查不到文档,就删除 MySQL 成员或减少权威篇数。

当然,如果用户真正删除了文章,并且业务规则要求同步移除专题关系,那是另一项明确的业务操作。它应该有自己的状态和执行流程,而不是从一次读不到文档的结果中推断出来。

我希望放回 MySQL 的,是可以一起约束的业务事实

把数据放回 MySQL,不等于给每个 ES 字段机械建一列。我先按业务操作来划范围。

创建专题时,需要主信息、规则和初始状态一致;文章加入专题时,需要成员去重、命中原因和统计变化一致;删除专题时,需要让后续消费知道它已经不能继续接收成员。

这些操作中的关系、状态和结构化结果,适合放到同一套事务规则中管理。

我计划在 MySQL 中保留三部分核心信息。

第一部分是专题本身:所属机构、标题、配置、启用与删除状态、追踪意愿和版本。

第二部分是关系:专题与文章、专题与重点账号的关联,以及一篇文章加入专题的多个原因。文章同时命中关键词和账号时,不能因为撤销其中一个原因就无条件移除整条关系。

第三部分是业务结果:相关性结论、各项分析执行状态、用于筛选和统计的分类、情感、风险,以及它们对应的配置版本。

这里需要保存结构化分析结果,是因为它们已经参与业务筛选和聚合。如果每次计算统计都要先从 ES 重新读取这些值,业务仍然要跟随搜索侧的可见性和内容完整性变化。

成员新增与统计贡献可以放在同一个 MySQL 事务内,并用唯一约束防止重复加入。分析晚到时,更新的是该成员的结果和统计贡献,文章数量不应再次增加。

这个判断依赖事务边界设计,不能简化成“用了 MySQL 就不会不一致”。事务要落在事务型表上;逐条自动提交与把几项业务更新放进同一事务也不同。MySQL 对这些行为的定义可以查阅 START TRANSACTION、COMMIT 与 ROLLBACK。

模型调用和远程采集依然放在事务外。持有数据库锁等待大模型返回,只会把新的外部等待问题带进数据库。

ES 保留搜索能力,业务更新不再等待搜索完成

在这个分工下,MySQL 提交的是业务事实,ES 接收的是便于检索的文档投影。

一次成员加入可以按下面的顺序组织。这是目标流程,不是当前链路已经具备的保证:

在同一 MySQL 事务中:
    校验专题与配置版本
    幂等更新成员及统计
    登记需要同步的事件
提交事务后:
    后台更新 ES 搜索文档
    同步失败时根据持久化记录重试

数据库和 ES 之间仍然存在一致性窗口。MySQL 的本地事务不会顺带提交 ES,消息队列也不会自动把两个系统变成一个事务。

ES 的搜索可见性还有自己的节奏。写入确认与搜索立即可见不是同一件事,refresh 会让变更进入可搜索状态;这属于 Elasticsearch 近实时搜索 的机制。

因此,专题保存成功后,普通管理详情可以立即从 MySQL 读到新状态,而全文搜索结果可能稍后才更新。界面和接口需要承认这种差别。

同样,ES 并不是完全没有并发保护。它支持用序列号与主分片任期做条件更新,防止覆盖已经变化的文档,见 Optimistic concurrency control。现有聚合重建也使用了类似保护。

但保护一份文档不被旧写覆盖,与让专题、成员、统计和任务记录一起成功,是不同范围的问题。后者才是我希望收回 MySQL 管理的边界。

投影端还要处理重复事件、旧版本晚到和删除以后旧更新到达。可重试不代表可以无条件覆盖;否则成员已经删除,搜索文档却可能被一条迟到的旧消息重新带回来。

查询拆开以后,代价要算在方案里

存储分工会让查询路径更清楚,也会增加需要显式处理的组合成本。

不含全文条件的专题列表、追踪状态、成员分页和业务统计,直接查询 MySQL。文章正文的关键词检索和相关性排序交给 ES。

如果查询同时包含“正文出现某个词”和“只看某个专题的有效成员”,就需要组合两边的条件。

一种容易出错的做法是:先从 ES 随便取一千个文章 ID,再到 MySQL 过滤,最后把剩余结果当成全量结果分页。这个一千只是示例上限。它后面的匹配文章会直接消失,总数和页数也可能不对。

另一种问题是把该专题全部成员 ID 拉出来,拼成一个巨大的 ES 条件。专题会持续积累文章,这个方法的请求体、内存和查询开销都会增长。

这部分没有一个不看规模就成立的通用答案。设计时需要分别确定搜索排序、游标、候选批次、权限校验和总数语义。ES 自己也有深分页成本;官方建议区分 from/size 与 search_after,并说明分页期间数据变化的影响,见 Paginate search results。但 ES 的分页机制并不能自动完成跨 MySQL 的分页。

我会继续在 ES 保存有助于搜索的专题标识等冗余字段,但它们是投影,不是另一套可以独立决定关系的主数据。搜索命中返回后,仍要校验机构、删除状态和有效关系。不能因为搜索索引里还残留一个专题 ID,就绕过当前业务权限。

这种校验能挡住部分陈旧命中,却不能凭空补回尚未进入索引的新文档。搜索漏见、结果被过滤和页面需要继续取候选,都应当在接口行为中定义清楚。

让 ES 成为搜索投影,还差一个内容来源

这次决定把专题关系迁回 MySQL,并不意味着要把所有正文和完整模型响应都搬进关系表。

但这里有一个必须承认的边界:如果原文和完整分析只有 ES 里的一份,那 ES 仍然承担内容存储职责。即使成员和状态已经迁完,也不能称整个系统的 ES 都变成了可以随时重建的搜索副本。

真正的搜索投影需要有可追溯的输入。上传的原文件、采集原文和完整分析可以放在哪里、保留多久、能否重放,都需要在内容持久化方案中明确。它们可以由已有内容存储或归档承担,不必强行放入成员关系表。

这也是我给本次改造划定的验收边界:先让专题的关系、状态和业务统计有明确的 MySQL 权威来源;全站内容持久化是否足以支撑 ES 完整重建,单独核实,不用一句“各司其职”带过。

迁移完成的判断,最终要落到读写行为上:谁决定一篇文章是否属于专题,谁记录删除和配置版本,搜索失败时哪些业务仍然成立,以及索引丢失后能从哪里重建。

这些问题有了明确答案,存储职责才算真正分开。

记录过程,也留下判断。

← 继续阅读其他文章