换了 Prompt,效果到底有没有变?让文章分析可回放、可对照
从 Prompt 修改后效果难观察、难量化的问题出发,结合文章相关性中心,记录如何固定输入和执行配置、隔离回放与生产后处理,并通过双版本配对、历史基线和人工标签复核效果。也说明真实调用、近重复复用、失败样本及实时核验证据对比较结论的影响。
优化 Prompt 时,我最想回答的一个问题是:这次修改,究竟有没有让文章分析变得更好?
在开发算法优化平台的过程中,这也是最初推动我做实验能力的原因之一。只在聊天窗口里试几篇文章,能帮助发现问题;要持续迭代,就需要把同一批文章、执行配置和结果留住,方便回放和对照。
后来,我在相关性中心把这件事逐步落地:保存分析输入和执行配置,让同一份样本进入不同版本,查看结论在哪些地方发生变化,再结合人工预期判断是否改善。
这篇以文章的“实体抽取、属地核验、相关性判断”为例,说明这套能力怎样组织。这里的回放范围聚焦相关性分析,风险分析、聚类和预警推送等后续业务各有自己的执行链路。
一、Prompt 改了,很容易看到新结果,很难说明改进来自哪里
最初想优化聚类算法和 Prompt 时,我遇到的直接问题,就是效果不容易观察,也很难量化。
发现一篇文章判断不合适后,补充一条规则,再运行一次,得到的答案可能合理了。但接下来还有几个问题:原来正确的文章会不会被影响?模型是不是同时换过?这次送进去的正文是否和上次相同?
文章分析往往还依赖外部服务。例如先让模型提取实体,再调用核验接口,最后根据核验证据生成相关性结论。即使 Prompt 没变,外部证据变了,最终结果也可能变化。
如果只保留最后一个答案,就很难回过头解释这些差异。修改后的 Prompt、当前数据库里的文章和现在的模型配置,并不能自动还原上次执行的条件。
因此,我希望一次分析能够留下几个基本事实:用了什么输入,采用什么 Prompt 和模型,依赖什么核验条件,执行到哪里,最后得到什么结果。
有了这些记录,讨论就能落到具体样本上:哪一篇发生变化,变化出现在抽取阶段还是核验阶段,是否符合预期。
单次成功仍然有价值,但我更需要知道这次修改对一组样本的影响。这也是回放和对照能力要解决的事情。
二、先把输入和执行条件留下来
第一步是固定分析需要的输入。
只记录文章 ID 不够。文章可能被补充 OCR,正文可能被更新,原帖信息也可能发生变化。过一段时间再用相同 ID 查询,取到的内容未必和当时一致。
当前实现会保存文章分析所需的输入快照,覆盖标题、正文、图片和视频 OCR,以及原帖标题、原帖正文等内容,并保留相关时间、作者和平台信息。历史结果也可以作为新投放的来源,沿用已保存的输入。
这些内容还会经过清洗和组织,生成实际的模型请求。因此,我会区分原文、分析输入快照和最终请求。对照时,除了看文章 ID,也要确认实际送入分析的内容一致;清洗逻辑和执行代码变更,同样可能影响结果。
第二步是保存实际执行配置。
一个 Prompt 版本会关联模型配置和目标区域,执行时还涉及温度、输出长度、响应格式、核验服务及输入输出契约。当前系统会把这些条件连同 Prompt 正文一起保存,并计算配置指纹;输入也有自己的指纹。
这样,版本号用于定位管理记录,执行快照则说明当次采用的具体条件。即使后来修改了某个版本的内容,已经登记的任务仍有原先的配置依据。
投放前还有预览与确认。平台先展示本次样本、版本和任务数量;正式登记时,如果来源或配置已经变化,就要求重新预览,避免确认的条件和实际登记的条件不一致。
第三步是明确外部核验证据。
如果两次都访问实时核验服务,得到的证据可能不同。这样的实验仍能观察配置在实际链路中的表现,但要进一步隔离 Prompt 的影响,就需要尽量固定外部条件。系统因此支持冻结核验证据,并校验对应证据集。
保存这些条件后,比较的依据会清楚很多。不过,远端模型的内部实现仍由服务方控制,模型别名、服务更新也可能带来变化;温度设为零也不能保证每次输出逐字一致。这里追求的是条件可追溯、差异可检查。
三、回放复用执行能力,实验结果单独保存
我没有让管理平台再维护一套完全独立的模型调用逻辑。平台主要负责选样本、管理版本、登记投放,以及查看执行结果;实际分析由消费者中的专门执行路径完成。
可以把这条流程理解为:
选取样本与版本
↓
预览并固定输入、执行配置
↓
登记实验任务,发送控制消息
↓
消费者识别回放任务,执行相关性分析
↓
保存实验结果,查看差异与执行依据
这里需要维护好实验用途和生产用途的边界。
普通文章进入生产处理后,可能继续写入文章分析结果、发送聚类消息,最终影响业务展示和预警。为了比较 Prompt 而重跑历史文章时,这些动作不应该随着实验再次发生。
当前消费者会提前识别回放控制消息,进入相关性实验路径并返回,绕开普通文章的生产 Processor 和后处理。实验记录使用独立的用途标识保存,便于和生产记录区分。
这种设计让实验能够使用现有执行能力,又能控制它对业务数据的影响。回放会写入实验记录,也可能调用真实模型或已获准使用的核验 API,因此仍然消耗费用和服务容量,需要受到投放数量、并发和超时条件约束。
排查结果时,还需要继续向下看。一个最终标签通常不足以解释问题,平台还提供输入、配置、抽取实体、核验证据、调用记录、错误及耗时等依据。
留存也有存储成本。当前实现支持将明确成功的模型请求摘要化,保留请求指纹以及对应输入、配置的引用;失败或受理状态不确定的调用保留现场。不能把这种记录能力理解为所有请求响应都永久逐字完整保存。
对我来说,这些记录主要用于回答:这个答案是在什么条件下,经过哪些步骤得到的。
四、把两种对照分清:双版本实验和历史生产基线
实际使用时,我会区分两种对照。
一种是同批样本的双版本实验。
当前平台支持在一个批次里选择两个版本,按文章及输入指纹配对查看结果,也可以只筛选结论不同的样本。这样,同一篇文章的左右两侧有明确对应关系,避免把不同文章集合的汇总结果直接放在一起比较。
比较前,我会先说明目标:
- 固定模型与其他依赖,修改 Prompt,观察提示词调整的影响。
- 保持 Prompt 内容和其他条件一致,选择不同模型,观察模型选择的影响。
- Prompt 和模型一起改变,比较整套配置组合。
如果外部核验仍使用实时数据,比较中还包含这部分条件变化。当前平台会检查模型、参数、目标区域、契约和核验依赖是否一致,并结合冻结证据判断是否具备进一步讨论 Prompt 影响的条件。
还有一个容易漏掉的因素:完成一条实验记录,可能使用了近重复结果复用,未必发生一次新的模型调用。
所以平台会区分两侧完成的配对和两侧实际执行的配对。纯 Prompt 对照进一步要求依赖一致、核验证据冻结,并且两侧都走实际执行路径,避免把复用结果当成新的模型采样。
另一种是新结果和历史生产基线的对照。
它更贴近日常维护:这篇文章原来被怎样判断,候选版本现在怎样判断?这种对照能够帮助找到结论变化,也适合发现值得复核的样本。
但历史基线必须来自当次真实保留的旧结论。原来没有留下依据,就应标记基线不可用,不能拿今天查询到的 ES 结果冒充当时的答案。
当前实现也有按条件开启的自动对照路径:在既定机构、模式和开关下,普通生产处理完成后,尽力为候选版本交接实验任务。这部分有明确开放范围和配置条件,不能理解为所有机构默认都实时执行双版本。
两种对照回答的问题不同。双版本实验便于控制条件,历史基线便于观察实际链路变化。旧系统给出的结论本身仍需要复核,不能天然当作人工标准答案。
五、结果有变化之后,还要判断是不是变好了
对照页面最直接的指标,是有多少篇文章的结论发生变化。但变化比例无法直接代表提升比例。
例如,一篇文章从不相关变成相关,既可能纠正了漏判,也可能引入了误判。要判断方向,需要结合原文、业务规则和人工预期。
因此,我会把查看结果分成三层。
第一层看执行是否完整。
计划投放多少样本,多少已经完成,多少失败或仍在等待,都需要交代清楚。接口超时、解析失败和业务上的“不相关”有不同含义。评估时,不能把技术失败当成正常的不相关结论计分。
第二层看结论怎样变化。
不同历史版本的记录可能包含相关、不相关和不确定等结论,最终合并规则要以当次执行快照为准。对照时需要先确认规则是否一致,再继续看:抽取实体是否改变,核验依据是否不同,最终合并规则是否产生影响。模型给出了更长的解释,也需要回到这些具体依据上复核。
第三层才是在适用标签下看准确性。
平台已有“已完成有标签样本准确率”的统计。不过,标签有业务范围,目标区域变化后,旧区域的预期不能直接沿用。标签数量、完成数量和失败情况,也需要随指标一起说明。
这里还有一个比较口径问题:如果两个版本各自完成的样本不同,直接比较各自成功子集的准确率,可能会受到样本差异影响。要判断 Prompt 调整,最好回到同一批两侧实际完成的配对上,并单独查看未完成样本。
当前纯 Prompt 标签指标,会在满足依赖与冻结证据条件时,使用两侧都实际执行完成的同一配对集合计算。它能帮助统一比较口径,但仍然只覆盖相应标签与样本范围。
我也会关注具体错误的分布:误判相关是否增加,原来漏掉的样本是否改善,不确定是否集中在某类输入。这些内容需要人工复核;当前最终标签的自动统计,并不等于所有实体抽取和解释文本的语义质量都已自动评测。
评估的目的,是找到下一步该改什么,并且知道这次结论能够覆盖多大范围。
六、把一次次修改积累成可复查的过程
这套能力落地之后,我更希望按一个简单的流程迭代。
先收集一小批有代表性的文章,既放入这次发现的问题,也保留原来处理正确的样本;再把预期与判断依据写清楚。对于业务上本来就有争议的文章,也应保留争议,不必为了统计强行给出确定答案。
接下来,选定对照目标,尽量一次只调整一个关键因素。固定输入和依赖,投放两个版本,先检查任务是否执行完整,再看差异与具体证据。
发现新问题后,把对应文章留在样本里。下一次调整时,让它和其他样本一起继续参与复核,避免这次修好的问题在后续修改中重新出现。
最后,再结合成本、耗时、异常情况和实际业务表现,决定是否扩大验证范围。有限样本上的改善,可以支持继续测试;要替换生产配置,还需要单独完成相应的确认和上线过程。
当前实现已经具备输入与配置留存、历史输入重投、双版本配对、差异筛选,以及适用标签下的统计。它仍有首期机构范围和依赖配置边界;跨版本对照也主要围绕相关性结论展开,其他分析阶段要根据各自需求继续补齐。
在 AI 时代,修改一段 Prompt、借助 AI 实现一个实验页面,都比过去方便了很多。对我来说,更值得持续积累的是:真实遇到过的失败样本、解释得清楚的预期,以及每次修改留下的执行依据。
有了这些,下一次再问“换了 Prompt,效果到底有没有变”,就可以打开同一份文章的两次记录,沿着输入、配置、执行和结果逐步检查,再讨论这次修改是否值得保留。
记录过程,也留下判断。
← 继续阅读其他文章