部分专题没有进入实时规则,如何排查?
一次历史核对发现,部分手动专题没有完成运行规则登记。存量表达式被新校验器拒绝,修正语法后还会碰到规则容量和旧成员存储问题。本文拆解原始配置完整性、规则语义与运行能力的核对方法,并交代排查和后续设计的边界。
在一次历史核对中,我发现 ES 中的手动专题与 MySQL 实时规则数量不一致,随后逐项检查专题身份和运行规则的对应关系。
逐项对照后,差额对应一批没有注册到 MySQL 的专题。这批表达式均无法通过当时核对使用的规则校验器。
这次排查给我的提醒是:**迁移脚本调用新系统的写入服务时,也会继承新系统的校验契约。旧库里存在的数据,未必能直接进入新系统。**只对比总数、修正字符串再重跑,都还不足以完成迁移验收。
当时完成的是只读核对、校验复现和后续方案设计。下面涉及规则规范化、容量调整和完整数据迁移的部分,都是处理建议,不能视为已经修复或上线的结果。
先对专题身份,再解释数量差额
ES 保存了专题主信息、成员及聚合状态;MySQL 中的运行规则,保存的是实时关键词匹配需要的表达式、启用状态和规则版本。这两边并不是内容完全相同的表。
因此,第一步要明确比较对象:哪些 ES 专题按业务要求应该有一条运行规则,再用“机构标识 + 专题标识”逐个关联。仅凭两边总数的差额,不能排除重复记录、过滤范围不同,或者两边各自存在孤儿记录。
当时对照得到的结果是:
- 已登记的 MySQL 规则都能找到对应的 ES 专题。
- 这些规则的表达式、启用状态和版本与 ES 一致。
- ES 中部分专题缺少对应的 MySQL 规则。
- 这些专题都处于启用状态,缺少规则版本,MySQL 中也找不到对应的规则变更日志。
这些证据把问题缩小到“运行规则没有成功登记”。它们不能证明这些专题的完整业务数据已经丢失,也不能证明注册之后曾被删除。
我还检查了回填入口。它按手动关键词专题类型读取 ES,逐条调用规则注册服务;其中没有按机构白名单或成员存储模式排除这些专题的条件。接下来最值得检查的,就是注册服务执行数据库写入之前做了什么。
存量表达式卡在新校验契约上
规则注册方法首先调用表达式校验,之后才开启数据库会话和事务。校验失败便不会进入写入阶段。回填脚本会记录该条失败并继续处理其他记录,结束时如果还有失败,会返回非零退出状态。
这样一条调用链,既能解释为什么其他规则成功登记,也能解释为什么少量存量规则可能留在源端。不过,原始回填执行日志没有拿到,所以我能确认的是:这批规则在当时核对所用的校验器下都会被拒绝,足以阻止回填。完整执行经过仍需原始日志支撑。
把业务关键词替换成 A、B、C 后,问题可以归成四类。
全角括号与半角括号
部分规则使用中文输入法下的全角括号,形式如下。
(A OR B)
当前解析器明确只接收英文半角括号。对这类记录,源数据库能够保存字符串,而新规则服务会在词法分析之前直接拒绝。
将括号改为半角可以解决这一项语法问题,但仍需检查括号是否配对、表达式还有没有其他错误。一次字符替换通过不了完整的业务语义验收。
紧贴括号的运算符
有的规则包含下面的写法。
A AND(B OR C)
当前分词器识别 AND 时,会检查左右边界。它的右边界没有把左括号视为合法分隔符,导致这里的 AND 没有成为预期的运算符。
下面这条只多一个空格,却可以通过:
A AND (B OR C)
这属于解析实现的边界兼容问题。只提醒用户以后多写空格,还没有解决历史数据和不同输入入口可能继续出现相同写法的问题。
这套业务同时存在 Python 校验器和 Go 运行解析器。修复边界时,两边应使用同一组样例验证,避免后台允许保存的规则,消费者加载时又报错。
省略连接符的 NOT
部分规则包含 …) NOT (…) 或 )NOT(。当前语法支持一元 NOT,但不支持把它直接放在两个条件之间充当隐式连接符。
如果原意是“先满足正向条件,再排除 C”,规范式可以写成:
(A OR B) AND NOT C
这里最危险的动作,是为了让校验通过而随意重组表达式。当前语法优先级为 NOT、AND、OR。下面两条不等价:
A OR B AND NOT C
(A OR B) AND NOT C
文章同时命中 A 和 C 时,第一条仍成立,因为左侧 A 已经满足 OR;第二条不成立,因为 C 会排除整个正向分组。
所以,长规则中的排除范围要单独确认。语法修正清单应该展示原式、修正式和具体命中样例,而不只是记录“已经补上 AND”。
小写 or 被当成普通文本
另一些规则使用小写 or。当前实现只将大写 AND、OR、NOT 识别为运算符。
更容易误判的是,短表达式可能没有报错:
A or B
它会被识别为一个完整的字面关键词 A or B,并不会成为两个候选词的 OR 组合。历史长表达式中,许多小写 or 连在一段里,最终触发单个关键词的长度限制。
报错表面上是长度超限,真正需要检查的是分词结果。直接提高关键词长度上限,只会让一条含义错误的长字符串更容易通过。
同时,也不能全局将小写 or 自动替换为运算符。业务允许搜索普通文本时,旧规则可能确实想匹配包含这个单词的完整短语。兼容策略需要明确哪些写法保留字面含义,哪些经过用户确认后转换。
语法通过后,还有运行容量和成员存储
语法问题厘清后,我继续核对运行容量。某个机构的有效规则已经达到当前上限,补齐缺失规则会超过这一容量。
Python 注册服务和 Go 编译器都维护有效规则容量约束。因此,只修改表达式并重新调用注册服务,还会遇到容量限制。
容量调整需要同时核对 API 和消费者。后端允许保存后,运行端仍需具备相应的编译与表示能力,固定宽度位图的容量也需要一起计算。
后续容量调整建议在当前表示结构内选择合适上限,两端同步修改,并覆盖全量加载、增量更新、边界值与超限输入。关键词总量和词项引用量也要继续受控。这些属于基于现有结构的处理建议,实际运行能力还需要专项验证。
另一些专题仍沿用旧的成员存储模式。Go 命中后写入新关系索引,旧专题查询却可能继续沿旧文章归属字段读取。
如果只补运行规则,就可能形成新的不一致:新文章已经写入关系索引,专题列表和统计却仍按旧模式查询。规则是否能够运行,与专题成员是否已经完成存储迁移,是两项不同的验收。
原始配置应保留,运行规则可以等待修复
这次问题让我更倾向于把两种记录分开管理:
- 原始配置记录用户保存过什么、属于哪个专题,以及需要怎样修复。
- 运行规则记录已经通过规范化和校验、可以安全进入匹配快照的表达式。
完整专题迁移应保留主信息、历史成员和原始表达式。某条规则暂时不可执行,不应该导致该专题和历史成员被整个跳过。
这里有一个实际限制:现有注册方法在检查启用状态之前就校验表达式,传入 enabled=false 也无法保存非法原式。因此,不能简单把同一个注册接口当作原始配置归档入口。需要在新专题配置中保存原式,记录待修复原因,再由明确动作注册可执行版本。
为展示这个区别,我会把待处理结果表达成“配置已保留,规则待修复,尚未参与实时匹配”,而不是让页面只显示一个模糊的启用开关。
这能保留数据,也让后续修复成为可核对的操作:改了哪些字符、分组含义是否改变、使用哪些样例验证、最后启用了哪个版本,都可以独立追踪。
迁移验收应回答三个问题
第一,业务对象是否完整。源端符合迁移范围的专题,目标端是否逐个对应;已有成员、人工加入原因和原始配置是否保留。无效规则、重复记录、缺原文等差异应单独列出,不能悄悄从总数中消失。
第二,新旧规则是否表达相同意图。除了“解析成功”,还要有命中、不命中、排除条件和分组优先级的样例。Python 保存校验和 Go 实际执行应使用共同用例。
第三,运行链路能否完整承接。规则数量是否装得下,版本能否正确加载,旧成员查询与新写入是否一致,失败是否能定位到具体专题。
一次回填脚本返回失败,并不意味着前面成功的记录都已回滚。这个脚本逐条调用注册服务,每条规则有自己的事务。继续处理时,应先核对目标现状,再对未完成项恢复,而不是把整批都当作从未执行。
还有一种相反的情况:注册服务已经提交 MySQL,随后回写 ES 规则版本失败,整条记录仍会被脚本计入失败。脚本的失败数不能直接当作未入库数;恢复之前,仍要逐条核对目标数据和版本。
下一次执行这类迁移,我会先拿存量规则跑新旧契约对照,输出差异和待确认项,再进入写入。完成后分别核对配置完整性、表达式含义与消费者运行能力,而不只看一行成功数量。
记录过程,也留下判断。
← 继续阅读其他文章