复杂舆情分析系统的架构设计及演进

罗兴波发布于 更新于
文章摘要

从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。

我持续维护的一套舆情分析系统,需要接收不同来源的文章,按机构完成相关性判断、分类、风险分析、内容聚类和预警,也要支持用户维护自己的关键词专题。

随着接入范围和处理需求增加,原有实现逐渐遇到了几类相互关联的问题。同一事件的报道内容接近,却可能被分到不同聚类。同一聚类中的文章独立调用模型,风险判断又会出现波动。为了降低重复分析成本而增加的近重复查询,开始持续消耗ES资源。消费者通过增加线程和副本扩大处理能力,连接、内存和日志管理的成本也随之累积。

这些问题促使我沿着几条主线持续调整系统。

  • 聚类从单阈值发展为双阈值与pending,再补充风险投票和增量重算,随后形成内容聚类与事件聚合两层组织,并通过样本和Prompt对照继续改善判断。
  • 日志从API与消费者的输出归属不清、多副本共写文件,逐步整理为应用结构化输出、Vector采集分流、logrotate轮转及按机构排查。
  • 统一文章消费者从线程池走向主要I/O调用链的原生异步化,同时维护分区内有限并发、背压和提交边界,并将近重复召回从ES调整为Redis与SimHash。
  • 手动关键词专题从零建设后,逐规则ES查询暴露出负载问题,推动我重新评估本地匹配算法,并建立独立Go消费者工程,再逐类迁移适合的处理链路。
  • 模型调用从API和消费者中的分散入口,逐步收拢到独立模型中心,统一管理执行身份、版本依据、并发等待、超时、有限重试和调用记录。

每条演进线都有自己的起因,也会影响其他部分。聚类增加事件层后,需要更多模型调用和关系维护。消费者提高并发后,要重新核对下游容量。模型调用集中以后,又需要明确业务方与执行服务各自负责哪些状态。

下文沿这些具体问题展开,说明当时怎样发现原有方案的边界、做了哪些调整,以及调整之后还需要继续维护什么。各项改造在实际开发中存在交叉,章节顺序用于梳理问题之间的关系。

一、先说明系统在处理什么

这套系统的主要处理过程,可以简化为下面这条链路。具体分析和下游分支按业务条件触发。

文章接入
   ↓
Kafka
   ↓
统一文章处理
解析、相关性判断、分类与风险分析
   ↓
内容聚类、事件聚合或手动关键词专题
   ↓
业务展示、事件查看与预警

同一篇文章进入系统后,可能同时涉及几种组织内容的需要。

近重复处理关注转载或只有少量变化的文章。找到符合条件的历史结果后,可以复用分析,减少重复模型调用。

内容聚类关注语义较紧密的文章,将它们组织成cluster,维护内容归属、成员关系及相关状态。

事件聚合继续观察多个cluster之间的联系,把同一事件的不同侧面组织到更高一层,方便查看事件进展。

手动关键词专题由用户维护规则,系统检查新文章是否满足条件,再维护对应的专题关系。

这些能力会使用相同的文章,但判断依据和结果用途各有侧重。内容接近、属于同一事件、满足用户规则,以及可以复用已有分析,需要分别检查。

系统还要保留机构上下文。同一来源在不同机构中的关注范围、规则和分析条件可能不同,处理任务、查询候选和保存结果时,都要带着各自的业务条件继续执行。

因此,我在调整架构时,需要同时核对判断质量、处理时效和状态一致性。一次改动带来的收益,最终还要落到用户能否正确看到文章、事件与预警,以及维护者能否查清处理经过。

二、聚类从一条分界线,走向内容与事件两层组织

先梳理处理路径,再调整归属判断

早期聚类已经包含缓存匹配、ES检索、近期与历史主题处理,以及质心更新等配套逻辑。不同路径各有用途,长期维护时也增加了核对成本。

修改一处判断,需要继续确认候选从哪里来、相似度怎样计算、结果写到哪里,以及其他入口是否仍采用相同约定。我先梳理主要自动语义聚类路径,再集中处理文章归属中的边界问题。

普通归属判断最初可以概括为一个选择。文章与已有cluster足够相似就并入,低于门槛就新建。

实际报道很难总是落在清晰的两端。提高门槛,部分相关报道会被拆开。降低门槛,题材相近但发生在不同地点的事情又可能被合并。

例如,一组文章报道某地事故的现场处置,另一篇介绍同一事件引发的停产,还有一篇报道另一地区的类似事故。这是讲解用的场景。它说明,文本接近程度和具体事件归属之间,还需要更多证据。

用双阈值与pending保存暂时无法确定的文章

我为主要自动语义聚类引入高低两个边界。

  • 没有有效候选时,进入新建流程。
  • 达到高阈值时,直接并入已有cluster。
  • 低于低阈值时,新建cluster。
  • 位于中间区间时,进入pending。

高阈值约束直接并入,低阈值帮助识别明显不适合已有候选的文章,中间区域则保存当前证据不足的情况。相似度来自向量与质心的比较,阈值需要结合模型、输入内容和业务样本调整。

pending中的文章会持久保存,后续根据更多内容寻找内部一致的子组,再判断整组并入已有cluster还是新建。这样可以把多篇报道形成的证据一起使用,减少过早决定归属带来的反复调整。

成组处理又带来了新的执行成本。向量检查、成员关系和批量回写需要时间,我随后将这部分工作交给独立消费者,实时入口负责登记与触发,后续消费者按规则处理灰区文章。

拆出消费者后,重试、任务状态和结果核对成为需要独立维护的责任。进入pending只是一次中间状态,最终仍要检查这些文章经过了什么处理、形成了什么归属,以及失败任务怎样继续推进。双阈值与pending的改造过程

风险判断从独立结果,走向共同基线与增量重算

文章归属逐渐清楚后,风险展示中的差异变得更明显。同一个cluster中的相近内容,独立调用模型可能得到不同风险等级,使用者需要理解这些差异的来源。

我保留模型给出的原始风险,再根据同组有效判断投票形成共同基线,随后结合媒体、大V等传播信号计算最终结果。

投票采用出现次数最多的等级。原始等级、基础等级、最终等级及调整原因分别保留,方便追踪某次风险变化究竟来自模型判断、同组证据还是业务规则。转载数量会影响按文章计票的结果,基线本身也需要结合实际样本复核。

第一版重算比较直接。每来一篇文章,就读取整组成员、重新投票,再刷新相关结果。随着cluster成员增加,同一批历史数据被重复读取和回写,实时聚类与后续预警也开始承担这些等待。

我先将风险重算拆给独立消费者,再通过触发限频和重复任务合并减少执行次数。主链路的同步等待下降后,独立队列中仍然可能出现积压,因为每次完整计算的工作量还在。

后续调整继续深入到算法和回写范围。达到样本条件后建立基线,满足增量条件的新文章优先沿用已有基线,只读取本次必要的数据。基础风险或专题整体风险变化时,再选择相应的历史刷新范围。

这几步分别改变了等待位置、重复次数和单次工作量。增量所需依据不足时,仍保留完整重算入口。任务发生合并时,被合并消息也要继承实际承接任务的处理结果,后续提交与重试才能继续对应到真实执行状态。风险重算的两次改造

在内容cluster之上增加事件聚合

双阈值和pending改善了归属决策,事件粒度的问题仍然需要继续处理。

现场报道、救援进展和后续调查可能分别形成内部紧密的cluster。用户查看事件时,又希望把这些侧面联系起来。继续降低第一层门槛,会重新增加无关内容混在一起的机会。

我因此增加cluster_event。内容层维护较紧密的文章归属,事件层进一步判断多个cluster是否围绕同一件事。

现场报道 → 内容cluster A ─┐
救援进展 → 内容cluster B ─┼→ 同一个cluster_event
调查整改 → 内容cluster C ─┘

事件层按照业务资格触发。关键词阶段读取来源cluster的标题与摘要,提取事件判断所需信息。来源内容没有变化时,符合条件的抽取结果可以复用,后续处理继续核对对应记录与版本。

准备好关键词后,通过MySQL中的倒排关系召回候选事件,再结合来源与候选信息调用LLM判断并入或新建。候选还需要满足机构、配置作用域和事件状态等条件。

模型返回已有事件时,程序继续校验所选目标是否来自本次候选,并在写入时检查目标是否仍然可用。完成归属后,保存成员关系和决策依据,维护汇总信息,并将事件标识投影到ES中的cluster状态。

这一层增加了模型调用、关系维护和搜索投影成本,也让内容粒度与事件粒度能够分别演进。消息重复、并发归属、投影失败和人工修正,随之成为需要核对的后续路径。内容聚类与事件聚合

Prompt优化开始需要样本、版本与对照

聚类与事件判断持续迭代,Prompt调整的影响也越来越难凭少量结果解释。某个例子改善后,还需要继续检查原有正确样本,以及其他类型的失败样本。

围绕这些需求,我逐步建设算法优化平台,将样本、Prompt、模型配置和运行结果组织起来。事件侧可以把同一来源投放到不同配置作用域,查看关键词抽取与归并结果。相关性分析则进一步保留输入快照,支持历史回放、双版本配对和差异检查。

对照时,输入条件需要先核清。同一个来源ID在不同时刻可能对应新的内容,不同作用域下的候选也可能变化。固定模型调整Prompt、固定Prompt调整模型,以及同时改变整套配置,分别回答不同的问题。

结果有变化后,还要结合人工预期判断方向。实际模型调用、近重复复用、失败样本和外部核验证据也需要分别检查,才能解释比较结论适用于哪些条件。

这些记录让后续优化能够围绕可复查的样本推进。一次Prompt修改的依据、影响和遗留问题,也逐渐有了连续的记录。算法优化平台的演进、Prompt回放与对照

三、日志从分散文件,走向统一采集与机构视图

从输出归属开始整理

排查聚类与消费者问题时,我先遇到了日志归属混乱。消费者调用共用业务模块后,一部分记录仍进入API侧配置的文件。

这些业务模块在消费者进程中运行,命名logger又保留着原来的文件handler。即使消费者入口配置了统一出口,旧handler仍可能继续把记录写到原路径。

因此,我先整理业务logger上的旧handler,让日志沿当前进程的统一配置输出,再继续处理采集和落盘。日志中的服务、处理阶段和业务对象,也需要由应用明确提供。

多容器并发又放大了文件管理问题。多个副本共同写入、轮转和清理同一组文件时,文件句柄、重命名、压缩与保留规则需要一起协调。每个应用副本各自管理文件生命周期,维护关系会越来越复杂。

应用输出结构化日志,采集层维护最终文件

我逐步将日志链路整理为下面的分工。

API、消费者输出单行JSON
          ↓
stdout / stderr与Docker容器日志
          ↓
Vector解析、补充字段并按规则分流
          ↓
可读文本日志与结构化JSONL
          ↓
logrotate轮转、压缩与保留

应用负责描述当时发生的事情,Vector根据收到的字段决定最终输出位置。文件写入与管理责任因此从多个业务副本中逐步收拢。

API日志主要围绕一次请求定位,关注请求标识、路径、状态和耗时。消费者日志则围绕消息与任务定位,关注服务、处理阶段、机构、文章,以及Kafka的topic、partition、offset等坐标。

这些上下文需要在处理过程中正确绑定与释放。特别是同一进程并发处理多个机构时,日志字段要跟随各自任务,否则后续按机构分流也会受到影响。

文本日志方便直接阅读,JSONL保留结构化信息,便于过滤与程序处理。两类输出来自同一条应用记录,字段含义也需要保持一致。

为单个机构增加更直接的排查入口

多个机构共享消费者后,服务总日志中的记录会交错出现。排查某个机构时,需要反复筛选服务、机构和文章,才能拼出一次处理经过。

我为部分消费者增加了按机构划分的文本视图。总日志保留服务整体状态,机构文件集中呈现对应业务记录,启动与调度等缺少机构上下文的内容也有自己的归属。

当前机构视图在部分Python消费者中逐步覆盖,其他链路按实际配置继续接入。Go消费者及统一文章消费者的输出方式,需要分别核对。新增服务也要同步检查字段和采集规则。

机构文件增加了存储副本,日志目录的访问权限仍需单独管理。排查方便程度、磁盘成本和文件数量,需要放在一起评估。

用轮转规则继续控制文件增长

统一采集后,日志增长问题仍然存在。我将Vector输出文件的轮转、压缩和保留交给logrotate,按调度检查文件大小并执行相应操作。

大小阈值与检查频率需要一起考虑。两次检查之间,文件仍会继续增长。当前copytruncate方式也存在复制与截断之间的写入窗口,轮转前后的实际行为需要持续核对。

Docker原始日志、服务文本、JSONL和机构副本分别占用磁盘,容量管理要覆盖这些层次。应用输出、采集分流、文件轮转和异常保留,各自都需要检查。

排查流程也因此更加明确。先找到服务和处理阶段,再沿请求标识、机构、文章或消费坐标缩小范围,继续查看失败、重试和后续结果。日志链路本身的缺字段、解析失败和轮转异常,也进入了维护范围。Vector、logrotate与机构日志视图

四、统一文章消费者从线程池走向主要I/O链异步化

先看清处理时间花在哪里

统一文章处理需要等待模型、ES、Redis和消息服务,部分分支还会访问MySQL。原来的线程池让多篇文章并发等待,部分机构又通过多个进程副本承接处理量。

随着部署的机构增加,各进程的线程池、连接、缓存和运行时状态持续累积。我需要重新评估,这些等待应该怎样组织,以及维持同样处理能力需要多少常驻资源。

沿调用链检查后,可以看到主要业务耗时集中在外部I/O。我继续使用Python,将主要网络调用改为原生异步,并在进程内复用客户端与连接。

异步化沿业务调用链逐步推进

改造涉及消费者入口、业务service、模型接口、数据库访问、ES与Redis客户端,以及下游消息投递。

当某个任务等待支持异步的I/O时,事件循环可以继续推进其他就绪任务。同一篇文章内部仍按业务依赖执行,例如相关性判断通过后,再进入需要的后续分析。不同文章则在资源上限内并发推进。

同步阻塞调用和长时间CPU计算仍然占用执行线程,公共服务中的这些路径需要逐个检查。异步客户端、连接池和任务也要跟随所属事件循环管理,退出时继续按生命周期回收。

这次调整需要同时验证正常处理、失败重试和停机。某个入口能够运行以后,还要检查下游客户端是否复用、连接是否及时释放,以及取消任务后状态能否继续解释。统一文章消费者的异步化改造

近重复复用也要计算召回成本

为了减少转载文章反复分析,我在模型调用之前增加近重复处理。早期通过ES全文检索召回候选,再使用Jaccard做文本精判。

覆盖范围扩大后,这条查询链路持续增加检索负载,并影响系统响应。我先收缩开放范围,再继续调整召回方式。

后来的方案通过SimHash生成紧凑指纹,利用Redis分桶缩小候选范围,再进行距离和数量筛选。从ES读取必要原文后,Jaccard继续负责文本精判。

符合条件时,普通文章分析路径可以复用来源的分析和有效预处理结果。复用之前,需要检查来源分析是否可用、预处理是否完整,以及对应内容是否适用于本次执行。

新文章仍然保留自己的身份、内容、来源和发布时间,后续也继续维护各自的业务状态。候选代表、有效窗口和清理策略则用于控制Redis规模。

这次改造降低了ES全文召回的持续压力,也让部分文章跳过重复模型调用。候选截断、短文本、模板化内容和配置变化仍会影响召回,需要通过样本持续核对。费用变化还要结合被复用请求的Token数量和模型价格计算。从ES召回到Redis+SimHash

有限并发、背压与下游容量一起设计

原线程池版本已经具备分区内有限并发。异步版本继续维护全进程上限与单分区上限,让相互独立的文章在可控范围内同时推进。

Kafka分区决定消费组中的任务归属,分区内部的业务调度则由应用维护。增加并发后,需要登记每篇文章的处理状态、完成结果和允许提交的状态。

背压还要覆盖排队、处理中,以及已经完成但尚未提交的数据。达到高水位后控制继续拉取,资源回落后再恢复,才能避免下游变慢时持续积累等待任务。

下游预算也要按实际作用域核对。单进程的限制会随着副本增加而叠加,模型等待、ES请求、数据库连接和整篇文章在途量分别消耗不同资源。

因此,我会继续观察请求等待、超时、重试、消费积压和预警延迟,再判断应该限制哪一段处理。某个阶段吞吐提高后,也要检查下一层是否开始排队。分区内有限并发、消费者并发与ES保护

处理进度需要在失败和重放后继续成立

多篇文章可能乱序完成,提交边界需要按实际已拉取记录的顺序检查可提交前缀。后面的文章完成后,前面尚未达到可提交状态的记录仍然需要保留。

当前提交实现仍有需要继续修正的边界。Kafka offset可能跳号,而现有异步提交循环仍按整数加一检查成功集合,这一场景还需要专项修复与验证。

重平衡和停机时,也要继续核对任务的分区归属与执行代次。外部写入已经完成、提交尚未成功的消息,恢复后可能再次进入处理,稳定身份和幂等更新需要贯穿后续链路。

在当时的机构负载下,主要I/O链异步化配合有界调度,降低了线程与常驻资源开销。后续维护继续同时关注处理成本、失败恢复和业务时效。

五、手动关键词从零建设,推动独立Go消费者工程形成

从用户规则开始建立专题处理能力

手动关键词专题服务于另一种内容组织需求。用户维护关注表达式,系统持续检查新文章是否满足条件,再更新专题中的文章关系和相关状态。

我从零开发这项能力时,需要将规则维护、文章匹配和命中后的处理连接起来。早期复用已有ES数据与查询能力,让每篇文章遍历机构规则,逐条请求ES判断命中。

这种方式便于接入原有系统。随着覆盖范围扩大,文章数量与规则数量叠加,实时匹配又成为持续访问ES的一条路径,接口响应和消费进度开始受到影响。

这次负载问题发生在逐规则关键词匹配中。前面近重复处理的压力来自候选全文召回,两条链路各自需要排查和调整。

匹配转入本地后,重新评估执行方式

我准备把规则匹配转入消费者进程,由本地完成文本扫描、候选筛选和布尔条件计算。

计算位置变化以后,进程需要维护可复用的机构规则结构,还要让多个任务共享这些数据,并利用多核处理文本工作。语言选择也因此与运行方式、依赖和维护成本联系起来。

结合当时Python项目的情况,我选择建立独立Go消费者工程。关注点包括进程内共享规则、CPU计算并行、混合I/O负载,以及重复执行时的常驻资源成本。改造和验证也按具体消费者逐步推进。为什么逐步迁到独立Go项目

将准备工作提前到规则加载与更新阶段

新的匹配流程把几类工作拆开处理。

  • AC自动机在一次文本扫描中识别多个关键词。
  • 关键词到规则的倒排关系缩小候选范围。
  • 预编译布尔表达式计算AND、OR、NOT等业务条件。

规则更新时,先构建并校验新快照,再提供给后续任务使用。在途任务继续持有自己取得的快照,减少处理中途读到不同版本规则的机会。

准备阶段增加了构建和更新责任,持续处理文章时则可以重复使用已经生成的结构。机构规则数量、关键词规模和更新频率,共同影响这项取舍。

匹配命中之后,还需要维护专题关系、聚合状态和文章字段。原有ES查询与本地字面匹配在分词、大小写和跨字段条件上的差异,也需要回到真实规则与样本验收。手动关键词消费者的算法优化

从首个改造对象,逐类整理工程边界

手动关键词消费者改造后,我观察到单进程RSS明显下降,ES检索压力也得到缓解。这些变化发生在运行时、依赖、规则结构和业务实现共同调整之后,效果需要结合当时负载理解。

后续独立Go工程又增加了热榜相关性分发、工作消费者和专题聚类等入口。每迁移一类消费者,都需要重新核对输入、业务状态、外部写入、重复消息和失败恢复。

统一文章主链继续采用Python异步处理主要远端I/O等待,Go工程承接逐步迁入的消费任务。项目边界随着具体负载和维护需求调整,各链路的实际启用范围也需要分别记录。

六、LLM从分散调用走向独立模型中心

调用入口增加后,通用策略开始分散

随着相关性判断、风险分析、关键词抽取和事件归并不断增加,API与消费者中出现了更多模型调用入口。

每个入口都可能维护Prompt、连接配置、超时、重试与调用记录。修改模型配置或者排查一次失败,需要逐个确认对应路径采用了什么条件,以及失败以后还会发生哪些动作。

调用超时尤其容易留下结果不明的状态。供应商可能已经执行,业务方却没有取得响应。如果继续创建新调用,还会影响费用、重复执行和后续状态判断。

这些问题推动我建立独立Go+gRPC模型中心,逐步收拢通用执行能力。目前已经接入部分API和消费者,后续继续按具体场景迁移。

为一次执行保留稳定身份与配置依据

中心为受理的执行保存身份、输入及配置依据,并维护模型连接与Prompt版本引用。

调用方使用稳定的请求键定位一次执行。网络结果不明确时,继续围绕原执行记录核查状态,结合已经保存的结果决定后续动作。供应商尝试也保留自己的结果、错误和Token记录。

配置版本与实际执行依据需要一起保存。模型、Prompt或其他参数后来发生调整时,已经受理的任务仍然需要能够追溯当时使用的输入与版本。

这也让排查入口逐步清楚。先找到调用方对应的业务任务,再定位中心中的执行记录,继续查看具体尝试、错误和恢复状态,减少在多个分散入口之间反复拼接信息。Prompt版本与执行依据

集中管理执行预算,同时保留业务方的责任

当前中心管理并发数、等待数量和待处理字节预算,为单次尝试与整体执行设置期限,并对明确可重试的失败安排有限重试。

这些限制需要共同工作。正在执行的请求消耗供应商与网络资源,排队请求也占用内存并增加等待。调用结果不明、进程重启和保存失败时,还要结合已有执行状态继续恢复或核查。

调用方继续负责业务判断、业务状态更新和消息处理结果。取得模型结果之后,文章怎样入库、事件怎样建立关系、失败任务怎样回写,仍由对应业务链路维护。

接入中心时,也需要重新核对调用方和中心各自的重试边界,避免多层重试放大请求数量。一次模型执行与后续业务写入之间的失败窗口,仍要由完整链路的状态与幂等机制处理。

缓存、费用与后续治理继续依靠实际记录验证

消费者中已有的Prompt缓存实践,也为后续集中治理提供了经验。稳定规则与动态文章分别组织以后,需要继续确认具体模型、接入协议和服务返回中的缓存统计。

客户端配置、实际命中、Token用量和端到端耗时分别提供不同证据。用量字段缺失时保留未知状态,失败与重试单独统计,再评估缓存和费用变化。Prompt缓存验证

熔断与自动模型降级仍是后续治理目标。推进时需要明确触发条件、恢复条件和降级模型的结果边界,再结合业务样本验证。模型替换后的成本、延迟与判断质量也要继续观察。

模型中心的接入还在继续。对后续改造,我会继续保留样本、版本、日志与执行依据,核对一次变化影响了哪些处理路径,以及失败之后能否从明确的状态恢复。

记录过程,也留下判断。

← 继续阅读其他文章