复杂舆情分析系统的架构设计及演进置顶
从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。
从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。
从逐规则 ES 查询带来的压力出发,结合统一示例解释 AC 自动机的多关键词扫描、关键词倒排的候选筛选、预编译布尔表达式的最终判断,逐项分析它们解决的问题、可替代实现和运行成本,并保留规则更新与匹配语义的验收边界。
不同平台的同类文章反复调用大模型,既增加 Token 成本,也可能产生不同的相关性和风险判断。本文记录统一异步文章消费者从 ES 召回+Jaccard 精判,改为 Redis+SimHash 召回+Jaccard 精判的过程,以及覆盖范围扩大后的负载问题、召回调整与资源压力变化。
双阈值与 pending 让文章归属有了更明确的决策边界,但同一事件的不同侧面仍可能形成多个 cluster。本文记录我如何增加 cluster_event,通过关键词召回和 LLM 判断建立事件层,在保留底层聚类的同时,将同一事件重新组织起来。
同一 cluster 内的风险判断波动,需要规则收敛,也需要可靠的处理链路。本文记录风险重算从逐篇触发整组全量计算,到拆出独立消费者,再到基线复用、增量处理的两次改造,以及大 V、媒体影响和预警时效之间的取舍。
从聚类算法和 Prompt 效果难量化出发,记录算法优化平台的四个开发动机:让方案可以复查比较,为业务展示补充管理入口,统一常用数据工具,以及借助 AI 降低定制成本,并以统一事件中心说明配置组合对照的价值与边界。
成员关系写入成功后,风险处理却可能通过搜索读到空集合。本文结合 membership 可见性修复与手动专题 wait_for 策略,说明写入确认、GET、search 和 refresh 的区别,以及排查、刷新成本与失败恢复的边界。
多机构部署下,多个进程副本叠加线程池,使统一文章消费者的线程数量与内存压力不断增加。本文记录主要网络 I/O 链路的原生异步化,以及配合有界并发、连接复用后,降低进程与线程资源开销的实践和边界。
原有聚类处理路径逐渐增多,文章归属又常常被一条阈值分界线强制二选一。我将主要自动语义聚类流程收敛为双阈值决策,让灰区文章先进入 pending,再由独立消费者基于成组证据决定并入或新建。本文记录改造动机、处理流程,以及这次调整仍然无法独自解决的问题。