ES 已经过滤最近 7 天,为什么查询目标仍包含大量历史索引?

罗兴波发布于
文章摘要

近重复查询已过滤最近七天,却仍以历史通配符作为请求目标。结合一次索引范围修复,解释文档过滤、分片预过滤和显式索引选择的关系,并保留跨月、时区、索引探测失败及数据布局的边界。

在一次 ES CPU 高负载调查中,我发现近重复查询已经有 publish_time >= now-7d,请求目标却仍是某个机构的全部历史索引。时间条件限制了哪些文档可以匹配,却没有把请求目标直接改成最近几个月的索引。

历史修复把这两个范围一起收紧:先按时间窗口选择候选索引,再在索引内部保留精确的日期过滤。这适用于索引划分规则与查询时间字段一致的场景;如果索引按写入时间划分、查询按发布时间过滤,就不能直接照搬。

一、同一条搜索里,有两个不同的范围

旧实现的结构可以用下面这个去标识化示例说明。索引名、租户名和文本均为讲解示例:

POST /article_demo_tenant_a_*/_search
{
  "size": 10,
  "track_total_hits": false,
  "_source": ["title", "content"],
  "query": {
    "bool": {
      "filter": [
        {"range": {"publish_time": {"gte": "now-7d"}}}
      ],
      "must": [
        {"match": {"content": {"query": "用于演示的文章正文", "minimum_should_match": "20%"}}}
      ]
    }
  }
}

URL 中的目标回答“向哪些索引发起这次搜索”;range 回答“什么时间的文档有资格进入结果”。两者相关,却不是同一个参数。

如果通配符匹配了多年索引,请求首先面对的目标集合仍然很大。是否需要在每个分片执行后续检索,还会受到查询改写和预过滤影响,不能把目标数量直接等同于完整检索次数。

二、有预过滤,为什么还要显式选择索引

ES 可以通过预过滤跳过不可能匹配的分片。例如,某个分片的日期边界与必须满足的时间条件完全不相交,查询改写可能判断它不需要继续参与搜索。8.15 的 Search API 在 pre_filter_shard_size 中说明了这一机制及触发条件。官方参数说明

因此,“查询目标包含历史月份”不能被写成“每个历史分片必然扫描全部正文”。这也是我对早期排查结论需要收紧的一点。

显式选择索引仍有意义:它让请求范围与业务时间窗口对应,减少不必要的目标展开,并让日志中的实际索引集合更容易审计。它提供的是更明确的请求边界,而不是无需测量的加速保证。

当通配符还可能匹配临时维护索引、恢复副本或其他名称相近的对象时,明确目标也能减少误纳入的机会。不过,哪些对象能排除必须由数据完整性规则决定,不能只根据命名“看起来像临时索引”就忽略。

三、历史改动具体做了什么

历史提交 f6fa829 修改了同步和异步近重复召回路径:读取 time_range_days,计算窗口覆盖的月份或日期,检查候选索引是否存在,然后把实际索引列表传给 search。没有近期索引时返回明确的跳过原因,不再回退到历史通配查询。

查询体中的日期过滤仍然保留。月索引只把范围缩到月,无法代替最近 7 天的精确条件。

这项改动还保留了同步入口显式传入 index_name 的能力。显式索引属于调用契约,需要核对调用方目的,不能一边接受调用方参数,一边悄悄将其替换成另一套范围。

既有回归用例验证了具体索引列表被传给搜索,以及近期索引为空时不执行搜索。但用例对索引解析函数做了替换,不能因此宣称跨月、时区或真实索引布局已经全部验证。

四、月索引计算,先把时间语义说清楚

实现前需要明确三件事:索引按什么时间字段划分、使用什么时区,以及窗口边界是否包含结束时刻。

下面给出可独立运行的标准库示例。它假设索引严格按 publish_time 的 UTC 自然月划分,窗口采用左闭右开 [start, end)。它只计算名称,不探测 ES,也不是历史业务函数的逐字复制。

from datetime import datetime, timedelta, timezone


def month_indices(start: datetime, end: datetime) -> list[str]:
    # 索引划分和查询窗口统一使用 UTC,拒绝没有时区的输入。
    if start.utcoffset() is None or end.utcoffset() is None:
        raise ValueError("起止时间必须包含时区")
    start = start.astimezone(timezone.utc)
    end = end.astimezone(timezone.utc)
    if start >= end:
        raise ValueError("时间窗口必须满足 start < end")

    current = start.replace(day=1, hour=0, minute=0, second=0, microsecond=0)
    # 结束时刻不包含在窗口内,月初结束不应额外纳入新月份。
    last = end - timedelta(microseconds=1)
    result = []
    while (current.year, current.month) <= (last.year, last.month):
        result.append(f"article_demo_{current:%Y-%m}")
        if (current.year, current.month) == (last.year, last.month):
            break
        if current.month == 12:
            current = current.replace(year=current.year + 1, month=1)
        else:
            current = current.replace(month=current.month + 1)
    return result


utc = timezone.utc
assert month_indices(
    datetime(2026, 8, 25, tzinfo=utc),
    datetime(2026, 9, 1, tzinfo=utc),
) == ["article_demo_2026-08"]
assert month_indices(
    datetime(2026, 8, 25, tzinfo=utc),
    datetime(2026, 9, 2, tzinfo=utc),
) == ["article_demo_2026-08", "article_demo_2026-09"]
assert month_indices(
    datetime(2025, 12, 31, tzinfo=utc),
    datetime(2026, 1, 2, tzinfo=utc),
) == ["article_demo_2025-12", "article_demo_2026-01"]

实际查询也应使用同一组绝对 start、end 值:gte 对应 start,lt 对应 end。否则应用算索引时使用一次 now,ES 执行 DSL 时又使用另一次 now,跨月边界就可能出现范围不一致。

如果生产索引按北京时间月份划分,应围绕那个时区计算,不能因为示例使用 UTC 就改掉既有存储约定。历史函数使用本地 datetime.now,是否与写入端和 ES 日期解析完全一致,仍需要沿真实调用链核对。

五、不存在、查不到和检查失败是不同的状态

索引探测遇到不存在时,可以按业务规则跳过;但认证失败、网络超时或集群异常,不应被解释成“这个月没有数据”。历史实现记录探测异常并跳过候选,整体上偏向让近重复失败后继续普通分析。这会提高后续模型调用量,需要独立观测。

更完整的结果分类应保留:候选索引确实不存在、探测失败、搜索失败、搜索成功但没有候选。它们对应不同的处理办法,不能都记成普通 miss。

每篇文章串行发多个索引 exists 请求,也有远程调用成本。对于很短的月窗口,数量通常有限;如果未来扩大到许多日索引,应该重新评估探测方式、短期缓存及失效策略,而不是把这段逻辑无条件放大。

还要核对历史迁移。若最近发布的文章被写进旧物理索引,或者数据通过别名、重建索引重新组织,单靠名称推算月份就可能漏掉数据。发现这种布局后,应先明确读写契约或维护索引清单,不能通过恢复全历史通配符掩盖问题。

六、先证明范围正确,再证明成本下降

验证分为两层。第一层检查请求正确性:同月、跨月、跨年和月初结束是否覆盖完整;空窗口是否拒绝;不存在与探测失败是否分开;实际索引列表与精确时间过滤是否一致。

第二层才是性能对照:在隔离测试数据或受控低负载环境中固定查询文本、时间窗口和数据,比较通配目标与具体目标的返回候选、分片统计和耗时,再观察相近业务负载下的 CPU、排队与错误率。缓存冷热及并发差异应单独记录,不能只比较两次偶然的 took。

本次可确认的是索引选择逻辑已有历史改动,后续任务样本也出现了只访问当月索引的近重复查询。它不能独立证明这项改动让 CPU 下降了多少,更不说明全文召回自身的持续成本已经消失。

时间过滤与索引选择配合,解决的是请求范围问题;当范围已经合理,调查还需要继续进入单次查询成本和总体负载。

记录过程,也留下判断。

← 继续阅读其他文章