LLM 生成的 SQL、DSL 语法正确,字段为什么还是不存在?
围绕算法平台的 SQL、DSL 生成链路,说明真实 schema 上下文如何进入模型,未知字段如何通过 EXPLAIN 或 mapping 校验被发现,最多两轮生成如何纠错,以及预检、业务语义和最终执行之间仍需保留哪些边界。
让 LLM 生成 SQL 或 Elasticsearch DSL 时,我更关心输出引用的字段是否来自当前数据源。语法检查只能覆盖一部分问题。模型可能把熟悉的命名习惯带进当前库,也可能把样例数据中的结构误当成可查询字段。
算法平台的数据工具把生成过程拆成读取结构、生成候选、后端校验和有限纠错,成功后再交给查询入口执行。这条链路的关注点是数据源结构如何约束候选,以及执行前能够发现哪些错误。
先确定模型拿到了什么结构
当前 MySQL 生成入口接收连接、数据库、可选表名和自然语言需求。数据库与指定表会先检查存在性。选定表时,上下文包含该表字段的名称、类型、可空性、主键、默认值、额外属性和注释,信息来自 information_schema.columns。这些元数据可以为字段选择提供当前依据。MySQL COLUMNS 表
未指定表时,当前代码从表列表中选取前十张表,逐张获取字段。传入 Prompt 的结构文本上限为一万二千字符,超过后截断。这意味着“连接了数据库”并不表示模型看到了整个库。目标表未进入前十张,或关键列在截断之外,都可能让模型继续依赖猜测。
ES 上下文包含 mapping、展开后的字段清单和一条样例文档。字段清单保留字段类型、子字段与 nested 路径。它比只给一段业务描述更接近模型需要的查询材料,但样例只有一条,无法代表所有文档或所有可选字段。
ES 的多字段尤其容易混淆。同一文本可以映射为全文检索字段,并配置用于排序、聚合的 keyword 子字段,具体后缀取决于 mapping。不能看到一个文本值就自动补 .keyword,也不能只因样例 _source 没显示子字段就判定其不存在。Elastic 多字段说明
当前字段清单、mapping 和样例分别有长度限制。上下文过长时都可能被截断。后端字段校验仍使用构建出的完整字段清单,但模型看到的材料可能少于它。若需求依赖被截掉的字段,重复要求模型“严格遵守结构”无法补上缺失信息。
SQL 的字段错误交给数据库预检
MySQL 的 generate_sql_stream 先收集模型返回,再提取代码,检查单语句、SELECT/WITH 前缀和禁止关键字,随后在目标数据库执行普通 EXPLAIN。字段和表能否解析,由数据库预检给出反馈。生成链路没有把 CRUD 接口的字段字典校验直接套用到整段 SQL。
下面使用虚构表说明待预检的候选,字段名也只用于教学。
-- 示例表包含 id、created_at,时间字段使用 created_at
EXPLAIN
SELECT `id`, `created_at`
FROM `event_records`
ORDER BY `created_at` DESC
LIMIT 100
普通 EXPLAIN 返回优化器计划,能暴露未知列、未知表等问题。EXPLAIN ANALYZE 会实际执行语句并给出运行信息,两者的工作量和行为不同。当前生成预检使用前者。MySQL EXPLAIN 说明
当前实现只检查预检是否报错,没有根据返回计划自动拒绝全表扫描或高成本连接。字段存在、数据库能够解释语句,也无法证明需求中的时间口径、关联条件、去重方式或数据范围已经正确。外层限制返回行数同样无法限制内部聚合和扫描工作量。
预检还依赖真实连接和相应权限,不能把生成接口理解为完全离线操作。当前前缀与关键字检查也只是一组规则,复杂 SQL 的语法覆盖和安全边界需要进一步验证。若要向更广泛用户开放,最小权限账号、超时和资源预算应作为后续工程工作单独落实。
DSL 同时检查引用字段与 query
ES 的 generate_dsl 和流式入口都调用 _prepare_generated_dsl。它先解析 JSON 并要求顶层为对象,缺少 size 时补二十,生成结果大于一百时压到一百,然后收集引用字段,与 mapping 展开的字段集合比较。
收集范围包含常见查询条件、排序、聚合的 field、多字段检索和 nested path。遇到不存在的具体字段,就在返回前抛出校验错误。已有测试覆盖查询、排序和聚合字段收集,以及 keyword 子字段和 nested 路径的保留。
例如真实字段叫 published_at,模型写成 publish_time,即使 JSON 可解析,也应该进入纠错分支。当前测试使用一个虚构字段模拟首轮失败,再返回已知字段,以确认生成链路能够恢复。这是测试构造,不能写成真实线上错误的频率。
字段检查完成后,后端调用 _validate/query,只提交候选中的 query。没有对象形式的 query 时,代码用 match_all 预检。因此排序和聚合并没有随完整 search body 一起交给该接口校验。官方接口用于验证查询,默认每个索引选择一个随机分片,当前代码也没有开启全分片验证。Elastic Validate query API
本地收集器按已知结构识别字段,跳过通配字段模式和部分元字段。字段集合为空时也不会执行不存在字段的集合比较。它无法完整证明字段类型适合所有操作,更无法自动证明 nested 作用域和业务含义正确。新增 DSL 能力时,需要同步检查收集与校验覆盖范围。
错误反馈只支持有限修正
两条生成链路的应用层尝试上限都是两次,即首次生成后最多再修正一次。候选校验抛出的 HTTPException 会变成下一次 Prompt 的错误说明,同时再次提供原来的结构上下文。两轮都失败就返回错误。
这里的修正有明确范围。SQL 让模型结合预检错误修正表名、列名和语法,DSL 则要求依据字段清单修正。当前代码没有把上一轮完整候选重新放进纠错上下文,也不会在重试前自动刷新 schema。结构材料缺失或已经变化时,一条错误信息未必足够。
模型鉴权失败、网络异常、ES 请求直接抛错等,也不能一概描述为会进入字段纠错循环。应用层候选生成次数与底层 SDK 的传输重试需要分开核对。限制次数能约束应用层重复生成,却无法保证一次请求的总耗时。
流式入口还做了一项容易忽略的处理。模型片段先在后端汇总,完整候选通过校验后才发送 delta 和 done。用户收到的可用文本因此经过预检,但第一段可用内容也需要等待生成与校验完成,名称中的 stream 没有消除这段等待。
生成完成后仍要经过执行入口
SQL 生成成功后返回查询文本,DSL 生成成功后返回 JSON,二者都有独立的查询执行接口。SQL 生成会执行 EXPLAIN,ES 构建上下文会读取一条样例,校验还会请求 ES。因此生成阶段本身包含读取与预检,但没有自动运行最终候选查询。
实际执行时,MySQL 查询入口再次检查查询形式,并通过外层 LIMIT 限制返回行数。ES 搜索入口把 size 约束在零到一百,再提交 search。手工修改后的文本可能引入新问题,当前执行入口也没有完整重放生成阶段的所有检查。生成时通过校验的状态无法覆盖后续编辑或 schema 变化。
已有测试模拟了 SQL 首轮 EXPLAIN 失败后修正、DSL 未知字段后修正,以及成功结果的返回。本次写作核对了测试代码,未运行真实模型和数据源联调。后续可围绕上下文截断、两轮都失败、字段类型冲突、复杂 DSL 和生成后编辑补充验证,再据此调整边界。查询助手的可靠性,最终需要结构材料、校验范围和执行约束共同支撑。
记录过程,也留下判断。
← 继续阅读其他文章