复杂舆情分析系统的架构设计及演进置顶
从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。
从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。
同一 cluster 内的风险判断波动,需要规则收敛,也需要可靠的处理链路。本文记录风险重算从逐篇触发整组全量计算,到拆出独立消费者,再到基线复用、增量处理的两次改造,以及大 V、媒体影响和预警时效之间的取舍。
多机构部署下,多个进程副本叠加线程池,使统一文章消费者的线程数量与内存压力不断增加。本文记录主要网络 I/O 链路的原生异步化,以及配合有界并发、连接复用后,降低进程与线程资源开销的实践和边界。
分区数量有限时,可以由同一个消费者在分区内部有界并发处理独立文章。本文结合统一文章消费者,说明两级并发上限、乱序完成与连续提交、未提交数据背压,以及失败、重平衡和幂等边界。