消费者并发应该怎么限,才能保护下游 ES?
查询范围已经收敛,下游仍可能被消费者压满。结合近重复排障,区分在途消息、ES 请求并发和请求速率,讨论配置作用域、多副本预算、阶段限流、等待、重试与业务代价,明确设计建议及待验证内容。
消费者把消息处理得更快,未必会让整个系统更快。如果每条消息都会访问同一个下游,增加进程、协程或分区内并发,可能只是更快地把压力送到 ES。
2026 年 9 月 17 日的近重复召回排查报告,已经提出全局和单机构的 ES 并发保护。后续另一轮采样中,查询目标已经收敛到当月索引,数据节点仍然高 CPU、搜索任务仍在排队。后一次采样的确切日期未保留,这里结合这些观察分析限制对象、进程作用域和多副本总量。
本文讨论当时 ES 全文召回阶段的全局和单机构预算。下文数字用于说明限制的作用域,实际阈值应结合部署和负载验证。
一、先把三个容易混淆的数量分开
第一种是消费者在途消息数:已经开始处理、尚未结束的消息。有的任务正在调用模型,有的正在读数据库,有的正在等待协调,它们并不都在同时请求 ES。
第二种是应用正在等待结果的 ES 请求数。它更接近客户端并发,但一次请求可能被拆成多个分片上的工作,客户端超时后的服务端任务也可能仍在继续。
第三种是请求速率,即单位时间发出了多少请求。它描述进入速度,与在途数量并不相同。
在稳定、口径一致且没有大量超时遗漏的观察窗口里,可以用 Little 定律理解它们的关系:
平均在途数量 ≈ 每秒进入的请求数 × 平均停留时间
讲解算例:
每秒 20 次请求 × 平均停留 2 秒 ≈ 平均 40 次在途
每秒 20 次请求 × 平均停留 5 秒 ≈ 平均 100 次在途
这个算例说明,即使请求速率没有增加,延迟变高也会让在途数量明显增加。瞬时任务列表无法单独区分这两种情况。需要补充应用发起量、端到端延迟、超时和重试统计,再与服务端观测对照。关于该关系的原始论述可参考 Little 的排队公式论文。
二、参数名称相近,不代表保护的是同一条链路
回到项目代码,我需要沿调用链核对配置的真实使用点,而不是看到一个带 ES_READ_CONCURRENCY 的名字就调整它。
这次调查中,有几类配置:
UNIFIED_ARTICLE_MAX_INFLIGHT_MESSAGES
UNIFIED_ARTICLE_PER_PARTITION_LIMIT
UNIFIED_ARTICLE_PARTITION_CONCURRENCY
SOCIAL_CLUSTERING_ES_READ_CONCURRENCY
前三项参与统一文章消费者的在途和分区调度,具体有效值还与分区分配后的调整有关。最后一项在社交聚类第二阶段的 repository 中使用,控制那一层的 ES 读取。
历史排查时曾把最后一项作为近重复召回的直接止血开关,这个判断不准确。近重复发生在统一文章主处理路径,不能据此断言修改社交聚类第二阶段的参数会限制它。
后续在 2026 年 9 月 28 日的 Redis+SimHash 改造中,代码为候选原文的 _mget 和来源详情的 GET 增加了进程内信号量,受 es_mget_max_concurrency 控制。这个限制覆盖粗召回之后的 ES 精确读取,本文讨论的全文召回预算和机构间调度还要按各自阶段核验。
本地配置的默认值也不等于生产有效值。真正调整之前,要记录部署版本、运行模式、环境覆盖、分配到的分区以及实例数量。能够解释“这个参数从哪里读到、最后作用于哪个对象”,比记住一个推荐数字更重要。
三、进程内的全局限制,仍然只是这个进程的限制
如果一个进程把近重复请求上限设为 8,三个独立进程各自都有同样的限制,那么在其他条件允许时,它们合计可能有 24 个客户端请求在途。这是作用域算例,不代表现场部署了三个这样的副本。
同样,Python 的 asyncio.Semaphore 协调的是使用同一对象的异步任务;把变量命名为 global_semaphore,并不会让不同进程共享它。Python 3.11 的同步原语文档说明了信号量的获取与释放方式。
因此,设计时需要明确写出限制的范围:是某个 worker、某个进程、某个机构,还是整个部署的预算。只有进程内限制时,扩容方案就应同时评估总量如何增长。
这不意味着必须立即引入分布式限流。副本数量稳定、部署受控时,可以先分配每个副本的预算;需要动态扩容或租户隔离时,再评估共享预算或独立调度层。共享协调也会带来远程依赖、失效行为与运维成本。
四、限制整条消息处理,还是限制昂贵的 ES 阶段
先降低消费者总在途量,是比较直接的临时手段。它能减少同一时间推进到下游的工作,但也会限制模型调用、数据库操作和其他处理阶段,可能让 Kafka lag 上升。
如果昂贵步骤已经明确,可以为近重复搜索单独设置阶段预算,让其他不依赖这一步的工作继续推进。这里的设计应同时考虑总量与机构间公平性,避免单个流量大的机构占用全部查询机会。
一个容易遗漏的细节是获取名额的顺序。先拿住进程总名额,再长期等待机构名额,可能让等待者占住总预算;反过来拿机构名额也不自动解决所有公平问题。需要调度器、明确的等待队列或经验证的获取策略,而不是随手嵌套两个信号量就宣称租户隔离完成。
等待队列本身也要有边界:最多等待多少任务、多久算超时、取消后如何清理,以及是否仍占用其他连接或事务。无界等待只是把 ES 的排队转移到应用内存。
ES 还有 max_concurrent_shard_requests,用于限制一条搜索在每个节点上的并发分片请求。它与应用并发预算处在不同层次,不能代替整个部署的请求控制。搜索分片路由文档解释了这个参数的作用范围。
五、超时、重试和降级,也会改变实际负载
客户端结束等待,不保证服务端搜索在同一时刻已经停止。单看应用请求名额已经释放,就认为 ES 工作量也完全回收,会低估超时期间的实际负担。需要结合客户端版本、传输行为和服务端任务观察核对;任务取消也需要时间推进,不能视作立即中断全部工作。任务取消说明
重试还可能放大流量。业务层只发起一次调用,客户端传输层仍可能有自己的重试策略;若业务再次重试,多个层次会叠加。因此应统一记录原始请求与尝试次数,明确哪些错误可以重试,以及预算是否覆盖每一次尝试。
近重复还有业务降级选择:召回失败后继续普通分析。这能帮助文章继续处理,却可能增加模型费用与其他下游负载。临时关闭某些机构的近重复,也必须明确这种代价,不能只看 ES CPU 是否下降。
缩短时间窗口、减少返回候选也有不同影响。窗口影响可复用历史覆盖,候选数量影响精判机会;它们都需要评估召回损失,不能被当作与降低并发完全等价的开关。
六、一次只验证一个控制点,并观察业务代价
我会先固定当前版本和实例数量,收集一个可比较的窗口:应用 ES 请求数、在途量、等待时间、查询延迟、超时、重试,外加节点 CPU、搜索队列和拒绝增量。采样还要注明具体业务路径,避免把所有 ES 请求混在一起。
随后选择一个小范围控制点调整。例如先在一个明确的调用路径验证阶段并发限制,保持查询内容和副本数不变,再比较同类负载下的变化。若同时改窗口、候选数、实例数和查询结构,就很难解释是哪一项产生了效果。
ES 指标改善后,还要看业务侧:积压增长速度、消息处理延迟、近重复命中与模型调用数量。如果 CPU 降下来了,但积压持续失控,就说明还需要降低单次成本、改变召回方案或补充容量,而不能把“限流生效”当作整条链路已经修复。
现场留下的证据足以说明下游保护值得继续做,尚不足以给出一个通用的安全并发数字。并发预算最终应由同一口径下的负载、服务时间和业务时效共同决定,并在扩容与业务变化后重新核对。
记录过程,也留下判断。
← 继续阅读其他文章