架构取舍

8 篇文章
  1. 复杂舆情分析系统的架构设计及演进置顶

    从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。

  2. 从 ES 召回到 Redis+SimHash:文章近重复处理实践置顶

    不同平台的同类文章反复调用大模型,既增加 Token 成本,也可能产生不同的相关性和风险判断。本文记录统一异步文章消费者从 ES 召回+Jaccard 精判,改为 Redis+SimHash 召回+Jaccard 精判的过程,以及覆盖范围扩大后的负载问题、召回调整与资源压力变化。

  3. 为什么我把聚类改成双阈值:用 pending 处理不确定的归属

    原有聚类处理路径逐渐增多,文章归属又常常被一条阈值分界线强制二选一。我将主要自动语义聚类流程收敛为双阈值决策,让灰区文章先进入 pending,再由独立消费者基于成组证据决定并入或新建。本文记录改造动机、处理流程,以及这次调整仍然无法独自解决的问题。