ES 只返回 10 条结果,为什么查询仍然很重?

罗兴波发布于
文章摘要

返回十条候选不等于只检索十篇文档。结合近重复查询的历史调整,拆开评分、nested 分支、字段读取与精判成本,解释缩小 _source 和按需读取详情的收益边界,以及召回质量与跨读取一致性的验证方法。

近重复召回只需要十条候选,看起来应该是一个很小的查询。但在历史排障里,我看到数据节点的热点栈仍然集中在 Lucene 检索执行。返回结果少,并不能单独说明查找这些结果的工作量也少。

这篇围绕一次近重复查询优化,拆开候选检索、排名、字段读取和业务精判的成本。历史代码已有减少查询分支和字段读取的改动;这些改动的独立 CPU 收益与召回质量,仍需要受控对照,不能从代码差异直接推导出来。

一、size 控制返回数量,不是只检查十篇文档

典型的近重复流程是先用标题、正文或 OCR 搜索候选,再用 Jaccard 精判,最后读取可复用的分析结果。size=10 限制这次搜索返回多少条命中,但寻找、评分和选择这些候选,可能涉及更多文档和多个分片。

可以把普通搜索粗略分为两部分理解:query 阶段在各分片检索并收集候选,协调节点合并结果;fetch 阶段读取最终命中的字段。实际执行还有跳过、剪枝和优化,不能由此反过来说每次都会扫描全部文档。

track_total_hits=false 可以避免要求精确的总命中数,但不表示候选检索和排名不再执行;它也不控制其他独立的聚合工作。Search API分别定义了 size 和 track_total_hits 的语义。

所以,减少 top_k 可能降低候选维护、传输和精判成本,却不能保证 CPU 按返回数量同比例下降。由 10 改成 3,更不等于天然减少 70% 的整条查询成本。

二、先看查询在找什么,再看返回了什么

历史实现同时考虑文章自身字段与 root_article 原文字段。对于标题和正文都完整的文章,仍然执行原文字段的 nested 查询,会让召回承担更多查询分支。

历史提交 3df78cc 调整了这部分规则:有文章自身标题时使用自身标题,否则才使用原文标题;正文也按同样方式分别兜底。下面是这一决策的简化示意,不是可直接运行的完整 DSL:

自身标题存在 → 查询 title
自身标题缺失 → 按需查询 root_article.original_title

自身正文存在 → 查询 content
自身正文缺失 → 按需查询 root_article.original_content

图片 OCR、视频 OCR → 按各自是否有内容加入查询

减少分支并不只是性能调整,它改变了“哪些字段有机会贡献候选”。如果自身标题存在,但一篇历史候选只有 root 标题有相关文本,新旧逻辑就可能找到不同候选。不能在没有样本验证时声称召回结果完全不变。

nested 查询用于保持嵌套对象内部的匹配语义,不能为了减负就把它替换成普通对象查询。字段实际 mapping、输入缺失方式和兜底约定,都应一起核对。nested 查询文档说明了它的对象与查询关系。

三、过滤资格与相关性评分承担不同职责

时间、机构和状态一类明确资格条件,通常适合放在 filter;标题与正文的相关性检索则可能需要评分来决定先返回哪些候选。filter 不参与评分,但这不等于所有查询都应该搬进 filter。

如果后续只精判少量候选,ES 的排序仍然影响哪些文章能进入精判。把文本查询全部改成不计分条件,可能改变候选顺序,随后改变近重复命中。

类似地,minimum_should_match、短语匹配的 slop、正文截断长度及 boost 都与候选覆盖有关。历史近重复查询使用正文片段来控制输入规模,但截断也可能丢掉文末的关键差异。这些参数应该通过同一组样本对照,不能只比较请求是否成功。query 与 filter 上下文文档解释了匹配资格和评分的区别。

四、缩小 _source 有价值,但不等于只从磁盘读取几个字段

历史代码还收紧了召回阶段的返回字段。它不再直接返回完整 analysis、全部 root_article 和向量,而是先取得精判需要的标题、正文、OCR 等信息;精判选出来源后,再读取完整复用详情。

这有助于减少返回体、网络传输和客户端解析的负担。尤其当完整分析与向量很大,而最终只会选择一篇来源时,逐候选返回全部详情会产生不必要的数据传输。

但对普通存储的 _source,源过滤通常仍需要加载和解析整份源文档,再挑出需要返回的部分。不能把 _source: ["title", "content"] 解释为底层一定只读取了这两个字段。fields 也并非天然绕过 _source;某些支持 doc values 的字段可以使用其他读取方式,具体要结合 mapping 与返回需求判断。返回字段文档

这也解释了为什么删掉返回向量后,如果热点依然在检索评分阶段,CPU 未必显著改变。字段返回优化与候选检索优化,需要分别验证。

五、分两次读取,还要补上结果契约

历史调整后的流程可以表示为:

搜索候选并读取精判字段
  → Jaccard 判断
  → 选择最佳来源
  → 按索引和文档 ID 获取复用详情
  → 检查来源资格并决定是否复用

代价是多了一次精确读取,也多了两次读取之间的数据变化窗口。候选可能在这段时间被删除、更新,或者其分析结果已不再可复用。GET 默认实时读取的行为,还可能与前一次 search 所见不同。GET API说明了实时读取选项。

因此,第二次读取失败或内容不完整时,要明确进入哪个分支:继续普通分析、重新查找,还是以错误交给上层。不能把召回阶段剩余的 analysis.is_valid 当作完整分析已经取得,也不能仅因存在向量字段就认为整个复用快照合格。

如果业务要求严格使用同一版本,需要进一步设计版本核对;如果允许读取最新结果,也要在第二次读取后重新确认资格。对于当前代码已经怎样做、哪些路径仍有缺口,应沿同步与异步调用链分别核对,不能凭这一张流程图宣称跨读取一致性已完整解决。

六、怎样验证优化,才能同时守住成本与召回

验证至少需要两组指标:一组是资源与耗时,包括请求体和响应体大小、客户端耗时、ES 的 query/fetch 统计与错误;另一组是业务结果,包括候选集合、精判命中、来源可复用资格和最终复用比例。

样本应覆盖自身字段完整、缺标题、缺正文、仅 OCR、来源更新与详情读取失败等情况。对新旧逻辑使用同一批输入和可比较的数据,记录变化发生在召回、精判还是复用资格阶段。返回结果不同不一定是错误,但需要业务解释。

Profile API 可以帮助分析查询内部执行,但会增加开销,而且不覆盖网络延迟、队列等待和协调节点合并等所有成本。它适合隔离环境或受控样本调查,不适合在已经满载的生产集群无界重放昂贵查询。Profile API 的范围与限制

本次材料可以证明查询构造和字段读取方式发生了哪些历史改动;没有提供这几项局部调整的独立性能收益,也没有完整召回质量对照。后续把候选召回改为 Redis+SimHash,属于另一层方案演进,具体实践见文章近重复处理实践,不能把那一阶段的收益全部归给 size 或 _source 调整。

当一条只返回十条结果的搜索仍然昂贵时,下一步应问的是:它如何找到这十条、为排名执行了哪些工作、读回了多少数据,以及这样的请求每秒会发生多少次。

记录过程,也留下判断。

← 继续阅读其他文章