ES CPU 持续偏高时,如何一步步定位到具体业务查询?

罗兴波发布于 更新于
文章摘要

结合一次 ES 数据节点 CPU 满载的历史排查,沿节点指标、线程池、热点线程、任务和业务 DSL 逐层取证,解释每层证据能够支持什么,以及怎样区分历史改动、部署生效与性能验证。

ES 数据节点 CPU 持续偏高时,我最想知道机器正在执行什么,哪些请求带来了这些工作,以及眼前的证据是否足以支撑一个修复决定。

这篇回顾 2026 年 9 月 17 日的一次 Elasticsearch 8.15.1 集群排查。调查逐步指向文章近重复的全文召回,但不同采样只能回答各自范围内的问题:线程栈能提示正在执行的工作,任务能帮助识别业务查询,它们不能直接给出每条业务消耗的完整 CPU 比例。后续再次满载,也促使我重新检查此前已经收敛的查询范围。

一、先确认现场:green 和 CPU 满载可以同时出现

当时健康查询返回 green,没有未分配、初始化或迁移中的分片,但数据节点的 CPU 处于高位,管理节点的负载相对较低。

这组证据让我把调查重点放到数据节点承担的实际工作上。它没有证明集群的所有方面都正常。green 主要描述分片分配健康,查询延迟、线程排队、CPU 和业务可用性仍要单独观察。集群健康 API解释了这些状态的含义。

排查入口可以使用下面的只读请求,语法按 Kibana Dev Tools 展示:

GET /_cluster/health
GET /_cat/nodes?v=true&h=name,node.role,cpu,load_1m,heap.percent,ram.percent&s=cpu:desc

我同时记录采样时间、节点角色和节点身份,避免把不同时间窗口的数据拼成同一张现场图。_cat/nodes 的 cpu 是系统 CPU 指标,不能直接当作 Elasticsearch 进程独占的 CPU;有疑问时还要结合进程指标和宿主机观测。负载也需要结合可用处理器数量解释,单看一个 load 数值没有统一的高低标准。Elastic 的 CPU 排障说明提供了对应口径。

二、看线程池:正在运行与等待执行分别有多少

接下来查看搜索与写入线程池:

GET /_cat/thread_pool/search,write?v=true&h=node_name,name,active,queue,rejected,completed

历史快照显示,数据节点有活跃搜索任务并出现等待队列,写入侧的等待相对较少。这让“搜索执行压力”成为下一步优先验证的方向。

几个字段需要分别理解:

  • active 是采样时正在执行的线程数量。
  • queue 是采样时已经进入队列、尚待执行的任务数量。
  • rejected、completed 是累计计数,需要在同一节点生命周期内取差值观察变化。

active 的读数来自特定采样窗口,线程池容量还与节点配置有关。一个业务搜索也可能向多个分片派发工作,因此线程池任务数量与外部 HTTP 请求数量需要分别解释。

rejected 为零时,也要结合排队与耗时观察。请求可以先变慢,甚至在客户端超时,而队列仍未达到拒绝条件。现场出现的等待任务促使我继续检查搜索耗时。 线程池文档

这里也有一个需要纠正的旧判断:没有看到名为 bulk 或 merge 的线程池输出,不能据此排除写入或合并成本。不同版本的线程池组织并不相同,合并应该进一步看 indices.merges 等指标,而不是只查一个可能不存在的池名。

三、看热点线程:让“搜索压力”获得执行栈证据

我使用有界的热点线程采样,避免持续抓取整集群的大量线程信息:

GET /_nodes/hot_threads?threads=3&interval=500ms&ignore_idle_threads=true&type=cpu&timeout=10s

当时的热点栈包含下面这些类名。这里是历史栈中的关键方法摘录,不是完整堆栈:

org.apache.lucene.search.ConjunctionDISI
org.apache.lucene.search.Weight$DefaultBulkScorer
org.elasticsearch.search.internal.ContextIndexSearcher.search
org.apache.lucene.index.TermStates

它们把调查方向进一步收敛到 Lucene 检索执行:文档迭代、查询组合、评分及搜索上下文中的工作。

但我不能由此直接写下“已经彻底排除 GC”。热点线程是一段时间里的采样,没采到 GC 不等于整个故障期间没有 GC 压力。同样,一个高 CPU 线程可能先后执行多个任务,一个任务也可能产生多个线程上的工作,不能把线程与业务请求简单一一对应。

若要补强判断,可以隔一段固定时间再取 JVM 和索引统计:

GET /_nodes/stats/jvm,process
GET /_nodes/stats/indices/search,merge

核对响应是否完整,按节点身份和生命周期比较 GC 时间、搜索计数及合并时间的增量。累计时间的变化用于描述对应工作的统计量,不能直接解释为该时间窗口里精确的 CPU 占比。节点统计 API列出了这些字段。

四、看任务与 DSL:从执行工作回到业务来源

热点栈还没有回答“哪个业务发起了这些搜索”。我继续查看正在执行的搜索任务:

GET /_tasks?actions=indices:data/read/search*&detailed=true&group_by=parents&timeout=10s

这里主要看 action、parent_task_id、running_time_in_nanos、目标索引和 description 中的查询结构。任务持续时间换成秒时,应该用纳秒数除以十亿;读取不存在的 running_time 字段,得到空值后再排序,会让调查失去重要线索。任务管理 API提供了字段示例。

历史查询里出现了相似的结构:标题或正文的文本匹配、近期发布时间条件、已有分析结果的资格检查,以及少量候选返回。这与文章进入模型分析前的近重复召回一致。我再回到服务代码,核对查询构造函数、调用位置和索引参数,才把这类任务归入近重复链路。

归类不能只看某个通用字段。比如 minimum_should_match 也可能用于其他文本查询;仅凭这个字段就把任务全部算作近重复,会把业务占比统计做大。更可靠的方法是组合索引类型、完整查询结构、调用日志和明确的请求标记。

任务数量同样有边界。一次快照展示的是当时仍在执行的任务;长任务更容易被采到,父任务与子任务也需要区分。因此,“快照里近重复任务很多”支持继续调查这条链路,不能直接换算成近重复 QPS,更不能直接换算成它的 CPU 占比。

五、再次满载时,重新验证此前的解释

第一次调查发现,近期查询仍使用覆盖大量历史索引的通配目标。历史提交 f6fa829 将近重复召回收敛到时间窗口覆盖的实际索引。

在索引范围收敛后的另一次历史采样中,具体日期未保留。按当时 DSL 特征归类的近重复任务已经只访问当月索引,搜索线程池仍出现排队。这个变化很关键:旧的请求范围问题已经不再以相同形态出现在这些样本里,不能继续用“还在查询全部历史月份”解释新的现场。

此时需要重新区分几个可能因素:请求变多、单次查询变慢、并发增加、客户端重试,或其他查询共同争用资源。仅凭在途任务变多,无法在这些解释之间做出最终选择。

进一步验证应补充固定窗口的业务请求数、成功与超时数量、延迟分布、有效并发和部署副本数。ES 的 query_total 增量反映查询操作统计,分片执行会影响口径,不能不经核对就当成应用请求数。

六、把修复状态与效果验证分开记录

这次排查留下了两类可核对的代码改动:按时间窗口选择索引,以及减少不必要的查询分支和召回字段。它们有历史提交,可以说明具体改了什么。

但代码提交、部署生效和性能改善是三件需要分别取证的事。对于这些局部调整,本次材料没有提供控制了请求量、数据和部署范围的独立性能对照,不能把其他阶段的 CPU 回落数字归到这次索引收敛上。

我会按下面的顺序验收:先确认部署版本与运行参数,再从实际请求中核对目标索引和 DSL;随后比较相近负载窗口中的 CPU、搜索队列、错误率及延迟,同时看消费积压是否仍可接受。对召回逻辑的修改,还要检查候选覆盖和最终复用结果。

完整复盘应该让每个结论都有对应证据,也让每个尚未完成的验证继续可见。这样下一次 CPU 满载时,才能沿着新的现场继续调查,而不是重复使用上一次的解释。

记录过程,也留下判断。

← 继续阅读其他文章