部分专题没有进入实时规则,如何排查?

罗兴波发布于 更新于
文章摘要

一次历史核对发现,部分手动专题没有完成运行规则登记。存量表达式被新校验器拒绝,修正语法后还会碰到规则容量和旧成员存储问题。本文拆解原始配置完整性、规则语义与运行能力的核对方法,并交代排查和后续设计的边界。

在一次历史核对中,我发现 ES 中的手动专题与 MySQL 实时规则数量不一致,随后逐项检查专题身份和运行规则的对应关系。

逐项对照后,差额对应一批没有注册到 MySQL 的专题。这批表达式均无法通过当时核对使用的规则校验器。

这次排查给我的提醒是:**迁移脚本调用新系统的写入服务时,也会继承新系统的校验契约。旧库里存在的数据,未必能直接进入新系统。**只对比总数、修正字符串再重跑,都还不足以完成迁移验收。

当时完成的是只读核对、校验复现和后续方案设计。下面涉及规则规范化、容量调整和完整数据迁移的部分,都是处理建议,不能视为已经修复或上线的结果。

先对专题身份,再解释数量差额

ES 保存了专题主信息、成员及聚合状态;MySQL 中的运行规则,保存的是实时关键词匹配需要的表达式、启用状态和规则版本。这两边并不是内容完全相同的表。

因此,第一步要明确比较对象:哪些 ES 专题按业务要求应该有一条运行规则,再用“机构标识 + 专题标识”逐个关联。仅凭两边总数的差额,不能排除重复记录、过滤范围不同,或者两边各自存在孤儿记录。

当时对照得到的结果是:

  • 已登记的 MySQL 规则都能找到对应的 ES 专题。
  • 这些规则的表达式、启用状态和版本与 ES 一致。
  • ES 中部分专题缺少对应的 MySQL 规则。
  • 这些专题都处于启用状态,缺少规则版本,MySQL 中也找不到对应的规则变更日志。

这些证据把问题缩小到“运行规则没有成功登记”。它们不能证明这些专题的完整业务数据已经丢失,也不能证明注册之后曾被删除。

我还检查了回填入口。它按手动关键词专题类型读取 ES,逐条调用规则注册服务;其中没有按机构白名单或成员存储模式排除这些专题的条件。接下来最值得检查的,就是注册服务执行数据库写入之前做了什么。

存量表达式卡在新校验契约上

规则注册方法首先调用表达式校验,之后才开启数据库会话和事务。校验失败便不会进入写入阶段。回填脚本会记录该条失败并继续处理其他记录,结束时如果还有失败,会返回非零退出状态。

这样一条调用链,既能解释为什么其他规则成功登记,也能解释为什么少量存量规则可能留在源端。不过,原始回填执行日志没有拿到,所以我能确认的是:这批规则在当时核对所用的校验器下都会被拒绝,足以阻止回填。完整执行经过仍需原始日志支撑。

把业务关键词替换成 A、B、C 后,问题可以归成四类。

全角括号与半角括号

部分规则使用中文输入法下的全角括号,形式如下。

(A OR B)

当前解析器明确只接收英文半角括号。对这类记录,源数据库能够保存字符串,而新规则服务会在词法分析之前直接拒绝。

将括号改为半角可以解决这一项语法问题,但仍需检查括号是否配对、表达式还有没有其他错误。一次字符替换通过不了完整的业务语义验收。

紧贴括号的运算符

有的规则包含下面的写法。

A AND(B OR C)

当前分词器识别 AND 时,会检查左右边界。它的右边界没有把左括号视为合法分隔符,导致这里的 AND 没有成为预期的运算符。

下面这条只多一个空格,却可以通过:

A AND (B OR C)

这属于解析实现的边界兼容问题。只提醒用户以后多写空格,还没有解决历史数据和不同输入入口可能继续出现相同写法的问题。

这套业务同时存在 Python 校验器和 Go 运行解析器。修复边界时,两边应使用同一组样例验证,避免后台允许保存的规则,消费者加载时又报错。

省略连接符的 NOT

部分规则包含 …) NOT (…) 或 )NOT(。当前语法支持一元 NOT,但不支持把它直接放在两个条件之间充当隐式连接符。

如果原意是“先满足正向条件,再排除 C”,规范式可以写成:

(A OR B) AND NOT C

这里最危险的动作,是为了让校验通过而随意重组表达式。当前语法优先级为 NOT、AND、OR。下面两条不等价:

A OR B AND NOT C
(A OR B) AND NOT C

文章同时命中 A 和 C 时,第一条仍成立,因为左侧 A 已经满足 OR;第二条不成立,因为 C 会排除整个正向分组。

所以,长规则中的排除范围要单独确认。语法修正清单应该展示原式、修正式和具体命中样例,而不只是记录“已经补上 AND”。

小写 or 被当成普通文本

另一些规则使用小写 or。当前实现只将大写 AND、OR、NOT 识别为运算符。

更容易误判的是,短表达式可能没有报错:

A or B

它会被识别为一个完整的字面关键词 A or B,并不会成为两个候选词的 OR 组合。历史长表达式中,许多小写 or 连在一段里,最终触发单个关键词的长度限制。

报错表面上是长度超限,真正需要检查的是分词结果。直接提高关键词长度上限,只会让一条含义错误的长字符串更容易通过。

同时,也不能全局将小写 or 自动替换为运算符。业务允许搜索普通文本时,旧规则可能确实想匹配包含这个单词的完整短语。兼容策略需要明确哪些写法保留字面含义,哪些经过用户确认后转换。

语法通过后,还有运行容量和成员存储

语法问题厘清后,我继续核对运行容量。某个机构的有效规则已经达到当前上限,补齐缺失规则会超过这一容量。

Python 注册服务和 Go 编译器都维护有效规则容量约束。因此,只修改表达式并重新调用注册服务,还会遇到容量限制。

容量调整需要同时核对 API 和消费者。后端允许保存后,运行端仍需具备相应的编译与表示能力,固定宽度位图的容量也需要一起计算。

后续容量调整建议在当前表示结构内选择合适上限,两端同步修改,并覆盖全量加载、增量更新、边界值与超限输入。关键词总量和词项引用量也要继续受控。这些属于基于现有结构的处理建议,实际运行能力还需要专项验证。

另一些专题仍沿用旧的成员存储模式。Go 命中后写入新关系索引,旧专题查询却可能继续沿旧文章归属字段读取。

如果只补运行规则,就可能形成新的不一致:新文章已经写入关系索引,专题列表和统计却仍按旧模式查询。规则是否能够运行,与专题成员是否已经完成存储迁移,是两项不同的验收。

原始配置应保留,运行规则可以等待修复

这次问题让我更倾向于把两种记录分开管理:

  • 原始配置记录用户保存过什么、属于哪个专题,以及需要怎样修复。
  • 运行规则记录已经通过规范化和校验、可以安全进入匹配快照的表达式。

完整专题迁移应保留主信息、历史成员和原始表达式。某条规则暂时不可执行,不应该导致该专题和历史成员被整个跳过。

这里有一个实际限制:现有注册方法在检查启用状态之前就校验表达式,传入 enabled=false 也无法保存非法原式。因此,不能简单把同一个注册接口当作原始配置归档入口。需要在新专题配置中保存原式,记录待修复原因,再由明确动作注册可执行版本。

为展示这个区别,我会把待处理结果表达成“配置已保留,规则待修复,尚未参与实时匹配”,而不是让页面只显示一个模糊的启用开关。

这能保留数据,也让后续修复成为可核对的操作:改了哪些字符、分组含义是否改变、使用哪些样例验证、最后启用了哪个版本,都可以独立追踪。

迁移验收应回答三个问题

第一,业务对象是否完整。源端符合迁移范围的专题,目标端是否逐个对应;已有成员、人工加入原因和原始配置是否保留。无效规则、重复记录、缺原文等差异应单独列出,不能悄悄从总数中消失。

第二,新旧规则是否表达相同意图。除了“解析成功”,还要有命中、不命中、排除条件和分组优先级的样例。Python 保存校验和 Go 实际执行应使用共同用例。

第三,运行链路能否完整承接。规则数量是否装得下,版本能否正确加载,旧成员查询与新写入是否一致,失败是否能定位到具体专题。

一次回填脚本返回失败,并不意味着前面成功的记录都已回滚。这个脚本逐条调用注册服务,每条规则有自己的事务。继续处理时,应先核对目标现状,再对未完成项恢复,而不是把整批都当作从未执行。

还有一种相反的情况:注册服务已经提交 MySQL,随后回写 ES 规则版本失败,整条记录仍会被脚本计入失败。脚本的失败数不能直接当作未入库数;恢复之前,仍要逐条核对目标数据和版本。

下一次执行这类迁移,我会先拿存量规则跑新旧契约对照,输出差异和待确认项,再进入写入。完成后分别核对配置完整性、表达式含义与消费者运行能力,而不只看一行成功数量。

记录过程,也留下判断。

← 继续阅读其他文章