复杂舆情分析系统的架构设计及演进置顶
从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。
从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。
从手动关键词匹配引发的 ES 高负载出发,记录选择独立 Go 消费者的四个理由,并结合 Java、C++、Rust 等候选的取舍,以及上线后的进程资源和匹配阶段耗时观察,说明这次渐进迁移的决策与验证。
从逐规则 ES 查询带来的压力出发,结合统一示例解释 AC 自动机的多关键词扫描、关键词倒排的候选筛选、预编译布尔表达式的最终判断,逐项分析它们解决的问题、可替代实现和运行成本,并保留规则更新与匹配语义的验收边界。
不同平台的同类文章反复调用大模型,既增加 Token 成本,也可能产生不同的相关性和风险判断。本文记录统一异步文章消费者从 ES 召回+Jaccard 精判,改为 Redis+SimHash 召回+Jaccard 精判的过程,以及覆盖范围扩大后的负载问题、召回调整与资源压力变化。
这本基于 Python 2.5 的书,让我从日常写法走向 CPython 的对象、虚拟机、GIL、模块加载与内存管理,也为进一步学习性能分析、探索性能分析平台的 runtime 能力打下基础。
回顾统一文章消费者的异步改造时,我也重新梳理了 API 和后台任务中的异步资源边界。本文结合项目中可核对的同类修复,解释不同事件循环与已关闭循环的区别,以及常驻服务、临时任务和同步桥接各自应怎样管理客户端与连接池。
用固定版本的 Kafka 与 Python SDK 跑通一发一收,认识 Topic、Partition、Offset 和消费组,明确发送确认、手动提交及重复处理的最小边界。
双阈值与 pending 让文章归属有了更明确的决策边界,但同一事件的不同侧面仍可能形成多个 cluster。本文记录我如何增加 cluster_event,通过关键词召回和 LLM 判断建立事件层,在保留底层聚类的同时,将同一事件重新组织起来。
在启动 Go 消费者项目前,我先开发了性能分析平台:将多机、多容器的 CPU 与内存观察集中起来,并借助 AI 辅助开发逐步完善工具。本文记录三个开发动机、当前已实现的监控与 Python 诊断能力,以及继续深入 Python/Go runtime 和 Linux 内核的目标。
同一 cluster 内的风险判断波动,需要规则收敛,也需要可靠的处理链路。本文记录风险重算从逐篇触发整组全量计算,到拆出独立消费者,再到基线复用、增量处理的两次改造,以及大 V、媒体影响和预警时效之间的取舍。