相关性中心一打开就超时,统计接口应该怎么设计?
结合相关性中心 MySQL 3024 超时,梳理状态口径、索引选择、先分页再补详情和统计降级,并区分当前代码与后续设计建议。
相关性中心打开时报出 MySQL 3024,错误信息是查询超过最大执行时间。与此同时,页面上的任务总数与执行成功数相差很多,用户很难判断是系统没处理,还是统计方式不同。
这两个问题需要一起梳理。接口既要在大表上可控执行,也要让数字表达清楚业务进度。本文结合当前本地查询实现,解释可以怎样逐层排查。
一、先确定统计对象与筛选范围
任务、文章、执行结果和模型调用是不同对象。同一篇文章可能进入多个版本,一项执行也可能产生多次调用。把它们都称为任务,会让数量比较失去依据。
同一个结果集合内,总数可能包含 pending、running、waiting、succeeded、failed。只展示成功、等待恢复和失败几个卡片,通常不足以解释总数差额。
排查时应列出状态分组,确认机构、用途、版本、时间范围和删除可见性条件一致。还需要区分模型实际执行与结果复用,succeeded 不能自动解释为新调用一次模型。
当前 overview 按结果状态、标签和结果来源分组,再汇总 total。页面名称与分组映射仍要沿前后端一起检查,不能只凭截图就判断缺失数据。
二、查询超时是定位入口
先找到真正超时的 SQL 与参数范围,区分总数、分组统计、分页 ID 和详情补充。接口调用堆栈指到数据库驱动,并不等于驱动就是原因。
读取执行计划,关注访问路径、预计扫描行数、排序和 JSON 条件。需要实际运行统计时,应在可承受的环境和窗口执行,避免为了分析慢查询再制造一次重负载。
EXPLAIN ANALYZE 会实际执行所分析的语句,使用前要评估代价。MySQL EXPLAIN 说明
提高超时可以改变失败时点,却无法单独证明查询成本已经降低。优化应先明确所需数据及现有索引能支持的访问方式。
三、先取一页 ID,再补这一页展示字段
当前本地列表实现把候选筛选与展示字段读取分开。先根据完整条件取出一页 ID,再为这一页补必要摘要,避免大量候选在分页前计算完整 JSON 展示内容。
列表只需要理由摘要、少量实体和阶段状态,完整文章输入、HTTP 证据和模型请求放到详情按需读取。减少返回列同时降低数据库读取、传输和应用解析成本。
索引选择也与筛选条件相关。精确 article_id、Prompt 版本和普通时间范围,适合的访问路径可能不同。当前代码对部分路径指定已有索引,带状态或标签时允许优化器选择。
FORCE INDEX 需要绑定具体查询和验证结果。数据分布或条件变化以后,原来有效的强制计划也可能退化,不能作为所有 SQL 的固定模板。
四、跨用途统计利用分支,但不改变筛选语义
结果同时覆盖 production 与 replay 时,现有索引里的用途列会影响访问方式。当前实现将两类互斥用途分别过滤、聚合或取候选,再在外层合并。
分页时,每个分支的完整筛选必须放在 limit 之前,最后再做全局排序和 offset。否则可能漏掉本应出现在当前页的结果。
统计也不能因为分支拆开就少算某类状态。所有分支应遵守相同的业务可见性规则,并检查排序的稳定次序,避免相同时间记录在翻页时漂移。
查询执行时间限制仍然保留,它承担保护预算的作用。列表还提供 include_total 选择,用来控制是否需要精确总数,这不等于系统已经实现了所有统计降级策略。
五、让慢统计能够被识别和单独治理
后续如果精确总数仍然昂贵,可以评估按需统计、受控缓存或异步快照。返回缓存值时,应明确统计时间与筛选范围,避免用户把旧统计当作实时结果。
这些是设计选项,是否采用需要结合业务对实时性和精度的要求。页面也可以分别表达列表、统计的加载和失败,避免一条慢 count 让整个工作台无法使用。
验收应使用同口径条件,对比结果集合、状态分组和翻页边界,再测接口耗时、扫描量和并发影响。缺少同条件测量时,不宣称某个固定加速倍数。
本次文章核对的是本地实现与历史错误,线上执行计划与耗时改善仍需要同条件复验。相关性工作台的演进可以参看算法优化平台。统计接口的价值,在于让进度可解释,同时把查询成本控制在业务能够承受的范围内。
记录过程,也留下判断。
← 继续阅读其他文章