为什么我开发算法优化平台:从聚类调试工具到日常工作台

罗兴波发布于 更新于
文章摘要

从聚类算法和 Prompt 效果难量化出发,记录算法优化平台的四个开发动机:让方案可以复查比较,为业务展示补充管理入口,统一常用数据工具,以及借助 AI 降低定制成本,并以统一事件中心说明配置组合对照的价值与边界。

最开始开发算法优化平台,是因为我想优化聚类算法和聚类 Prompt。但在调整过程中,我首先遇到的问题是:Prompt 改了,效果到底有没有变好?

如果缺少可以复查的样本、版本和运行结果,就很难量化一次修改的收益。与此同时,业务前端需要后台管理入口,常用数据又分散在 MySQL、ES、Kafka、Redis 等工具中,我希望把这些工作集中到按自己习惯设计的页面里。

AI 辅助开发让这件事更容易推进。平台也因此从聚类和 Prompt 调试开始,逐步发展成现在的相关性中心、聚类工作台、统一事件中心、文章相似度和数据管理工具。

这篇文章主要记录这些需求怎样产生,以及我为什么把它们放进同一个内部工作台。

一、想优化聚类,却很难判断 Prompt 修改的效果

聚类结果不理想时,可以调整输入抽取、Prompt、相似度阈值和后续处理逻辑。但一次结果变化,可能同时受到多个因素影响。

例如,新的 Prompt 看起来表达得更完整,模型这一次也给出了合理答案,我仍然需要继续确认:换一批文章会怎样?原来处理正确的样本是否受到影响?结果变化究竟来自 Prompt,还是模型和输入条件?

我希望把这些问题落实到具体记录上。测试使用哪些样本,采用哪个 Prompt 版本和模型配置,实际输入与输出是什么,都应该能够重新找到。

因此,平台的 Prompt 工程实验模块逐步加入样本选择、Prompt 修订、多模型与重复测试,以及运行结果查看等能力。它们让一次修改有了可以对照的对象,也让我能够围绕失败样本继续调整。

量化仍然需要明确含义。字段匹配分数或文本相似度,反映的是对应的评分规则;它们不能直接代表聚类在真实业务中的整体准确率。判断业务效果,还需要明确的预期结果、样本范围和复核标准。

二、以统一事件中心为例,让不同方案的差异可以复查

后来,统一事件中心提供了一个更具体的观察场景:把同一个 cluster 来源投放到不同 Prompt 和模型组合中,查看各自的关键词抽取与事件归并结果。

例如,选定一个待处理的 cluster,分别使用 Prompt P1、模型 M1,以及另一套 Prompt 或模型配置执行。这里的 P1、M1 只是说明比较方式的代号,并非某次实际测试的结果。

我关注的内容包括:关键词有没有抓住事件重点,最终是并入已有事件还是新建事件,判断理由是否合理,以及执行有没有成功、耗时多少。

如果同一件事被分开,或者不同事件被放在一起,还可以继续查看当次的请求、候选事件、原始响应和解析结果,理解差异发生在哪个环节。

当前平台支持跨版本投放,并在不同作用域中保留结果;实际使用时,可以切换 Prompt 和模型配置,查看对应的记录。它为人工对照提供了依据,目前并不是自动生成完整跨版本差异报表和业务准确率的评测系统。

如果目标作用域已经存在归属,投放可能跳过重复处理。因此,对照时还需要确认对应记录是否实际执行了模型调用,不能把重复投放直接当作新的一次采样。

比较时也要区分目的。

  • 固定模型,调整 Prompt,主要观察 Prompt 变化带来的差异。
  • 固定 Prompt,调整模型,主要观察模型选择带来的差异。
  • Prompt 和模型一起改变,比较的是整套配置组合。

这里还有一个容易忽略的条件:同一个来源 ID,不一定意味着两次完整的模型输入都相同。

来源内容会在处理时读取,不同作用域下的关键词抽取和候选事件也可能发生变化。因此,想单独判断某个 Prompt 的影响,还需要核对来源内容、关键词、候选上下文及其他模型参数是否一致。多个条件同时变化时,结论应当限定为对应配置下的整体表现。

不同版本的事件 ID 也可能不同。真正需要比较的是成员如何组织、归属是否符合预期,不能只根据两个 ID 是否相等判断结果一致。

单个案例帮助我理解差异。如果希望量化整体效果,就需要进一步整理一批有明确预期的样本,并说明实际完成了多少、失败或未完成多少、哪些进入了业务复核。误并、拆分等情况,也需要在同一口径下比较。

三、业务前端展示结果之后,还需要方便的管理入口

另一个需求来自业务前端。

业务前端负责呈现专题、聚类和相关统计,但我在开发和维护过程中,还需要查看这些结果背后的数据,并进行必要的管理。

例如,某个专题需要维护,两个自动 cluster 需要合并,事件归属需要进一步检查,或者关键词抽取需要修正,这些都需要对应的后台操作入口。

因此,算法平台逐步承担了一部分内部管理工作:聚类工作台提供成员、结构化内容、相似 cluster 等查看能力,并接入部分实际管理操作;统一事件中心提供成员、关键词、归并决策和异常处理的入口。

这类页面的价值,是把业务对象和操作放在一起。管理时能够先了解对象当前的内容和状态,再决定是否需要处理,而不必只凭一个标识去修改底层记录。

这也需要明确操作边界。平台部分功能会写入业务数据,独立的前后端和部署方式,并不意味着数据与业务系统完全隔离。每种管理动作仍然有自己的字段范围、状态条件和校验逻辑。

四、把常用的数据查询和核验集中起来

开发中,我经常需要查看 MySQL、ES、Kafka 和 Redis。不同工具分别擅长处理自己的数据,但围绕一个业务问题排查时,我需要来回切换。

我希望有一个统一页面,按照自己的要求组织这些常用操作。

例如,从一个文章或 cluster 出发,可能需要查看搜索索引中的内容,核对数据库中的关联关系,检查缓存状态,再了解消息是否进入了相应处理链路。这些信息分别存在于不同位置,却共同影响页面上的最终结果。

因此,平台逐步补充了数据查询和部分维护能力。它们是算法排查的支撑:当某个结果无法仅靠业务页面解释时,可以继续核对底层数据,而不是把问题停留在界面上。

我更关注自己反复使用的查询方式、需要一起查看的字段,以及从业务对象继续定位数据的路径。把这些操作做成适合自己的页面,可以减少重复寻找入口和整理信息的工作。

这些工具共同服务于一件事:让排查过程中需要的证据更容易找到,并让必要的维护操作有清楚的入口。

五、AI 辅助开发,让定制工作台更容易实现

还有一个促使我推进这个项目的因素,是 AI 时代的开发便利性。

通过 Vibe Coding,把一个明确的页面或工具需求逐步做成可使用的功能,变得比以前方便。对于这种贴近个人工作流程的项目,我可以先描述希望怎样查看数据、怎样执行一次测试,再借助 AI 辅助实现并根据运行情况调整。

这让我更愿意把反复遇到的需求做成工具。先完成一个能解决当前问题的入口,使用后再判断缺少什么,按实际需要逐步补齐,是这个项目的演进方式。

不过,便利性没有改变我需要理解的内容:一个评分怎样计算,一次投放使用什么输入,某个管理动作会修改哪些数据,以及失败后留下什么状态,都需要结合实现与实际结果核对。

AI 降低了定制工具的实现门槛。平台最终是否有价值,仍然要看它能否帮助我理解问题、验证调整,并减少日常操作中的重复工作。

六、随着实际问题,逐步形成现在的几个工作区

这个平台并不是从第一天就规划好了现在的所有模块。

聚类工作台帮助我查看聚类结果和成员内容;Prompt 工程让样本、修订和运行记录能够留存;相关性中心则进一步提供结果、投放批次、版本差异和异常查看等入口。

这些能力有联系,但各自回答的问题不同。文章为什么被判断为相关,进入 cluster 后归属是否合理,以及几个 cluster 是否属于同一个事件,需要分别查看对应的依据。

统一事件中心便是在事件层增加之后继续形成的工作区。它让我查看成员、关键词和归并决策,必要时再进入相应处理流程。具体怎样组织这些信息,我准备后续单独写一篇。

文章相似度也是另一个逐步形成的方向。近重复、语义接近和属于同一事件有不同含义,我希望能够查看召回与判定过程,理解一个相似结论是怎样得到的。这部分也会另写一篇展开。

同时,当前平台的完成程度并不相同。部分旧反馈和纠错接口仍保留占位实现,不能将所有按钮都理解为已经完成实际处理。相关性中心也仍有首期开放范围和配置条件。

Prompt 测试中的“采用版本”,目前记录的是实验会话里的选择,并不等于自动替换生产 Prompt。这些边界需要保留,才能准确理解平台已经提供了什么,以及接下来还要补充什么。

对我来说,算法优化平台逐步形成的价值,是让发现问题、查看依据、留下样本、执行调整和比较结果这些工作,有一个能够持续积累的地方。

此前的双阈值与 pending 改造,以及增加 cluster_event 事件层,记录的是算法处理方式的变化;这个平台则帮助我围绕这些结果继续查看、实验和维护。

它与 性能分析平台 也各有侧重:一个关注业务判断、实验和数据管理,一个关注程序运行时的 CPU、内存及诊断。后续我会继续围绕实际遇到的问题完善它们。

记录过程,也留下判断。

← 继续阅读其他文章