每条 LLM 执行记录都保存完整 Prompt,数据库会怎样增长?

罗兴波发布于
文章摘要

相关性分析为了回放保存了输入与配置,却也重复保存了大量 Prompt。本文说明配置快照去重、成功请求摘要化、新旧格式兼容及安全发布顺序。

为了追溯一次文章分析,我原先保存输入、执行配置和模型请求。这让排查更方便,也让同一份 system prompt 随每篇文章重复进入数据库。

相关性链路持续运行后,结果表和模型调用表成为明显的容量来源。排查下来,需要调整的是数据的保存层次,让共享配置只保存一次,每次执行保留自己的事实。

本文介绍已经完成的本地存储改造。历史数据清理和生产收益验收是后续工作,不能把新写入方案当作旧大表已经瘦身。

一、一次模型调用,可能保存了两份相同规则

结果记录中的 execution_snapshot 包含执行配置,模型调用记录中的 request_payload 又包含实际发送的 messages。两边都可能带上相同的 Prompt。

同一个版本执行很多篇文章时,变化的主要是文章输入,固定规则却跟着复制。粗略估算增长,可以从下面的关系开始。

每天的重复配置量
≈ 每天结果数 × 每份重复快照大小
  + 每天调用数 × 每份请求中的重复配置大小

这是逻辑数据估算,不能直接换算成 RDS 磁盘账单。索引、行格式、页利用率、日志、保留周期和失败重试都会影响实际占用。

优化前先检查字段组成,区分文章输入、固定规则、模型参数、响应和诊断信息。否则只删除最大的文本,可能连恢复所需依据也一起丢掉。

二、配置按组合保存,执行按引用保存

只留 prompt_version_id 容易实现,但它是否足以解释一次执行,取决于系统约定。

在这个项目里,一次执行还依赖模型、参数、目标区域、核验服务配置、契约版本和结果策略。同一个 Prompt 版本可能搭配不同条件。因此,本地实现采用完整执行配置的规范化哈希作为快照键。

{
  "storage": "ref-v1",
  "config_hash": "完整执行配置的哈希"
}

这是格式示意。完整配置登记到独立快照表,结果行保存引用。运行恢复前,Repository 批量展开引用,执行器仍然收到原先需要的完整配置。

同一哈希的并发登记由数据库唯一键和原子写入仲裁。代码还会比较内容与身份,不能因为哈希相同就跳过所有一致性检查。快照与使用它的结果在同一事务中登记,避免留下无法恢复的引用。

对成功读取的快照使用有界进程缓存,减少重复查询。缓存的生命周期只影响性能,数据库里的快照才是持久化依据。

三、成功请求可以摘要化,失败现场继续保留

第二处变化发生在模型调用记录。

明确成功的请求可以改存请求哈希、结果 ID、文章 ID、配置哈希、Prompt 与模型配置标识。完整文章输入和完整执行配置已经各有保存位置,可以继续追溯关联关系。

但摘要无法冒充逐字请求存档。清洗代码、请求拼装规则或执行时补充字段变化后,仅凭输入和配置未必能还原完全相同的 HTTP body。管理页面必须显示这是请求摘要。

当前实现仅对明确 succeeded 的调用执行摘要化。running、failed、unknown 继续保留完整请求,支持中断恢复和受理状态排查。尤其 unknown 不能被简单归为失败后直接丢弃现场,远端可能已经执行。

这个策略的收益取决于成功比例和请求大小。失败长期不收敛,同样会持续占用空间,因此还需要单独的保留策略。

四、读取兼容比修改写入字段更容易漏掉

结果表同时被业务消费者和算法平台读取。只改消费者 Repository,会让管理页面把 ref-v1 当作完整配置,回放或详情就可能出错。

所以改造同时覆盖几个入口。

  • 执行前展开新引用,兼容旧完整快照。
  • 列表用批量查询或 JOIN 读取必要信息,控制 N+1。
  • 校验结果行、引用和快照之间的哈希及身份。
  • 详情区分完整请求和摘要。
  • 快照缺失时明确失败,避免使用当前配置补成历史配置。

新版 reader 依赖新增表存在,发布顺序应先完成兼容迁移,再发布读取能力,最后小范围开启紧凑 writer。开关关闭也不能保证新版查询不访问新表,需要以实际 SQL 为准。

旧版本回滚同样要检查。数据库已有引用记录时,直接删掉快照表会破坏恢复。本地迁移因此对这类降级加了保护。

五、先验证行为,再测量容量

验证不能只比较两行 JSON 的长度。更重要的是旧完整格式和新引用格式能否得到相同执行配置,失败与未知是否保留请求,事务回滚是否遗留快照,并发登记是否仍然唯一。

容量验收则选择相同业务范围和时间窗口,分别测量新增结果、模型调用次数、逻辑字段大小、索引和日志增长。积累足够时间以后,再调整保留周期。

这篇承接文章分析回放与对照。回放需要留下依据,也需要区分共享条件和执行事实。存储层把这两部分组织好,才能在追溯能力和持续增长之间建立可维护的预算。

记录过程,也留下判断。

← 继续阅读其他文章