给 LLM 加了 Prompt 缓存,怎么确认真的命中了?

罗兴波发布于
文章摘要

结合 Go 聚类消费者的固定前缀缓存实现,区分配置开启、服务端命中、token 统计与端到端耗时,并给出受控验证流程。

聚类消费者调用 LLM 很慢时,我先检查请求组成。固定规则在每次调用中重复发送,文章和候选专题则不断变化,因此尝试为稳定前缀启用缓存。

改动可以很小,验证却需要多看几层。开关打开说明客户端采用了某种请求格式,是否命中以及节省多少,还要看实际服务返回。

本文以项目的 Go 调用实现为线索。网关即使兼容 chat/completions,也不能据此推断支持所有缓存扩展。

一、固定规则放前面,动态内容放后面

当前消费者将规则放进 system,文章与候选放进 user。启用开关后,system content 改成文本块数组,在固定规则块上增加缓存控制。

{
  "role": "system",
  "content": [
    {
      "type": "text",
      "text": "固定聚类规则",
      "cache_control": {"type": "ephemeral"}
    }
  ]
}

这是请求片段,模型、接口地址和其他参数仍按当前配置提供。文章和候选继续来自本次请求。

这种布局有利于稳定公共前缀。若在固定规则前加入当前时间、随机标识,或者频繁改变块结构,共享范围就可能受影响。

二、先确认实际接口的缓存协议

不同供应商的显式缓存、隐式缓存和用量字段存在差异。参数名相似,也不能直接共用有效期、最低长度或计费规则。

核对时应记录供应商、具体模型、区域、API 类型和网关。对照对应官方说明,确认支持条件、缓存边界与命中统计。项目的兼容客户端只负责发出请求,并不替服务方实现缓存。

例如,阿里云当前文档给出了文本块 cache_control 与用量查询方式。是否适用于某次生产调用,仍需核对当次模型与接入条件,不能跨模型套用。阿里云上下文缓存说明

固定前缀改变后,后续请求要按新内容建立匹配关系。修改 Prompt 以后缓存重新建立属于预期过程,历史缓存的存在不代表新前缀立刻命中。

三、把未知统计保留为未知

项目当前会记录 prompt_tokens、completion_tokens、cached_tokens 和 cache_creation_input_tokens,以及缓存开关与模型名。字段缺失或格式异常时记 unknown。

这比缺失时补零更准确。零命中表示接口给出了可解释的零值,未知表示当前日志无法判断。两者混起来,缓存命中率会失真。

更完整的观测还应保留配置指纹、请求时间、调用耗时、错误和重试次数。无需为了验证缓存在日志输出整段文章或 Prompt。

还要核对服务字段的含义。cached_tokens 是 prompt_tokens 的子集,还是与其他 token 分开统计,必须按对应接口解析。否则费用计算可能重复计数。

四、设计一次可以解释的冷暖对照

验证可以选定一个支持缓存的模型和稳定规则,先完成一次建立缓存的请求,再在适用窗口内保持固定前缀、替换动态文章,查看后续返回。

为了减少干扰,应固定区域、模型、参数与规则版本,分开统计失败和重试。多次调用后比较分布,单次偶然变快不足以证明缓存收益。

这里还要区分纯缓存实验和正常业务。如果在真实消费者里反复提交同一文章,可能先命中业务近重复或已有执行结果,根本没有新模型调用。验证应选择受控调用入口,并遵守测试额度。

本次写作核对了本地请求拼装和统计代码,实际命中率与付费模型实验仍需要单独取证。

五、缓存费用与总耗时分别核算

可用一个分项模型理解费用,具体费率从当次服务账单取得。

调用费用
= 普通输入 token × 对应单价
  + 缓存读取 token × 对应单价
  + 缓存建立 token × 对应单价
  + 输出 token × 对应单价

各项必须使用互不重叠的计量口径,并纳入可能的写入成本。缓存前缀减少重复计算,并不必然减少请求中发送的文本长度。

总耗时还包含排队、网络、动态输入处理、输出生成和本地写入。输出理由很长时,固定前缀命中后仍可能消耗明显时间。因此,费用改善比例也不能直接当作延迟改善比例。

我希望最终看到一组可以追溯的证据,客户端确实使用了预期格式,服务端明确返回命中统计,费用按正确口径计算,耗时分布也有同条件对照。达到这几层,才能回答“缓存是否生效,以及它到底解决了哪部分成本”。

记录过程,也留下判断。

← 继续阅读其他文章