为什么我开发性能分析平台:从多机监控,逐步走向运行时与内核分析
在启动 Go 消费者项目前,我先开发了性能分析平台:将多机、多容器的 CPU 与内存观察集中起来,并借助 AI 辅助开发逐步完善工具。本文记录三个开发动机、当前已实现的监控与 Python 诊断能力,以及继续深入 Python/Go runtime 和 Linux 内核的目标。
在启动独立 Go 消费者项目之前,我先开发了性能分析平台。最初推动我动手的,有三个原因。
第一个原因很实际:服务分布在多台机器、多个容器中,查看 CPU 和内存指标不方便。我希望把这些信息集中起来,能够从统一页面找到需要关注的机器、容器和进程。
第二个原因是技术上的好奇。我想进一步理解 Python 和 Go 程序怎样运行,逐步关联应用代码、各自的 runtime,以及 Linux 调度、内存和 I/O 等层面的性能现象。
第三个原因是 AI 辅助开发带来的便利。在 AI 时代,通过 Vibe Coding 把明确的工具需求做成可以使用的项目,变得比以前方便。这也让我更愿意为自己的排查流程开发一个工具,再根据使用情况继续完善。
这篇文章记录性能分析平台的出发点、目前已经实现的能力,以及我希望继续探索的方向。它早于这次消费者迁移:其中,采集端使用 Go,平台后端使用 Python,前端使用 React 和 TypeScript。
一、多台机器、多个容器,让查看资源变得零散
我最先想解决的是查看指标的便利性。
当服务分散在不同机器和容器中时,找到某个服务的资源情况,需要先确定机器,再找到容器,必要时继续查看里面的进程。观察对象一多,信息就容易分散在不同位置。
我希望统一入口能够回答几个直接的问题:哪台机器资源比较紧张?哪个容器占用 CPU 或内存较高?容器里面又是哪些进程在消耗资源?
这些问题有清楚的层次。宿主机提供整体背景,容器对应部署中的服务,进程则帮助我进一步缩小观察范围。把三者关联起来,就能沿着同一个对象继续排查,减少切换环境和重新寻找目标的操作。
因此,项目最初关注的是把我需要的信息组织起来。通过统一页面查看机器、容器和进程,再从这里进入更深入的诊断,是这个工具对我最直接的价值。
二、看到 CPU 和内存占用后,我还想继续追问
基础指标能够帮助我找到观察对象,但一个百分比或一个内存数字,通常不足以解释问题。
看到 CPU 较高时,我还想知道:程序主要在执行哪些调用路径?这些工作是业务计算,还是运行时管理带来的消耗?任务是否也在等待 I/O 或调度?
看到内存较大时,我会继续关心:这部分占用由什么组成?哪些页面属于共享映射,哪些是进程私有的?它与 Python 对象或 Go 堆之间是什么关系?
这也是我希望逐步打通不同层面 Profile 的原因。从应用到 runtime,再到 Linux 内核,我想能够围绕同一个现象,收集并理解不同层面的证据。
这里的“打通”需要具体理解:它意味着把各层观察结果联系起来分析,逐步解释一个性能问题。当前项目还没有实现自动跨层追踪或自动根因定位。
例如,外部资源指标可以告诉我哪个进程需要关注;调用栈和采样可以继续展示它经常出现在哪些代码路径;更深入的运行时与内核分析,则有机会帮助我理解分配、调度和 I/O 的影响。这些能力需要分别建立,也需要明确各自能够回答什么问题。
三、AI 辅助开发,让定制工具更容易落地
开发一个工具,还需要考虑实现和持续调整的成本。
AI 时代的 Vibe Coding,是我愿意推进这个项目的一个考量。当需求能够描述清楚时,AI 可以协助整理实现思路、编写基础代码、处理接口与页面衔接,再根据运行结果进行调整。
对于自用诊断工具,我可以从一个范围明确的需求开始:先把多机、多容器的信息集中展示,实际使用后再判断还缺少什么。AI 辅助开发让这种边使用、边完善的方式更容易推进。
同时,我也希望通过项目理解底层机制。采集到了什么、数字怎样计算、某种采样能够说明什么,这些问题本身就是我想研究的内容。
因此,界面能显示数据只是一个起点。CPU 和内存口径、进程对应关系、诊断结果和实际开销,都需要结合实现与运行情况核对。AI 帮助降低实现成本,具体结论仍需要有数据和原理支撑。
我没有为 AI 带来的效率变化做严格量化。对这篇文章而言,可以明确的是:开发这类贴合自己需求的工具变得更方便,也是我决定动手的原因之一。
四、先建立宿主机、容器和进程的资源视图
性能分析平台由三个组件协作完成:
- 平台前端:使用 React 和 TypeScript,负责资源数据展示、实时更新,以及发起诊断和查看结果。
- 平台后端:使用 Python 和 FastAPI,接收采集快照,维护状态并调度诊断任务,通过 Redis 保存实时数据与任务状态。
- 采集端:使用 Go,部署在需要观察的 Docker 主机上,负责采集指标、执行按需诊断并上报结果。
Agent 通过 Docker API 和宿主机挂载的 /proc 获取信息。观察范围包括宿主机的 CPU、内存、负载等基础资源,容器的 CPU 与内存使用情况,以及容器内各个进程的资源信息。
基础快照默认每两秒采集一次。进程层面除了 CPU、RSS,还能够观察线程、文件描述符和 I/O 等信息。这些指标共同帮助我确定下一步要深入哪个对象。
使用这些数据前,必须先理解统计口径。
容器内存、进程 RSS 和语言堆属于不同层面。容器列表当前使用 Docker 内存统计,并扣除部分缓存;RSS 描述进程驻留在物理内存中的页面;Python 或 Go 的堆又有各自的管理和统计方式。它们可以相互补充,不能直接当作同一个数字。
Docker CLI 对 Linux 容器内存也有扣除缓存的展示口径,官方文档同时说明了 CLI 与原始 API 数据的区别,可参考 Docker stats 说明。具体使用时仍应以工具当前实现和所处环境为准。
CPU 百分比同样需要统一口径。当前容器和进程的计算方式以单核 100% 为基准,多核执行时可能超过 100%;宿主机则展示整机使用率。比较不同页面的数据时,需要先确认它们代表的范围。
这些细节会影响后续判断。看到资源增长,可以继续调查其来源,但不能仅凭一个内存数字就判定发生了泄漏。
五、从日常观察,进一步进入按需诊断
资源视图建立之后,项目已经加入了一部分更深入的诊断能力。
首先是按需读取完整 smaps,查看进程的内存映射及 RSS、PSS、USS、匿名内存和 Swap 等信息。PSS 会按比例分摊共享页面,USS 关注私有页面,这有助于从不同角度理解进程内存组成,但仍不是语言对象的逐项清单。
其次是 Python 调用栈和 CPU 采样。当前通过外部 py-spy 执行 dump 查看线程调用栈,也可以执行 record 生成 Speedscope 格式的采样数据,再由页面展示轻量的火焰图和时间线,并提供数据下载。
这些能力可以帮助我从“哪个进程占用较高”,继续走到“采样期间经常出现哪些调用路径”。py-spy 的具体工作方式和输出能力,可参考 官方项目说明。
采样结果反映的是采样期间观察到的分布,不等于每个函数的精确耗时或调用次数。一次调用栈也只是当时状态的一次观察,需要结合问题发生的阶段理解。
当前日常采集与这些诊断任务是分开的。完整 smaps、调用栈和 Profile 由用户按需触发,执行时有时间或输出大小等边界。这样能够针对已经选定的对象深入观察,也避免把所有重型诊断混入每次基础快照。
外部采集减少了对业务应用的改动需求,当前 Python 诊断不要求在业务里安装 SDK 或修改启动命令。不过,采样仍然需要相应访问权限,也存在执行开销,需要控制目标和范围。
六、后续继续深入 runtime 与 Linux 内核
目前,项目主要服务于实时资源观察和按需诊断,数据以短期保存为主,尚未建立长期 Profile 历史分析能力。
Python 已经有线程栈和 CPU 采样,但对象分配来源、GC、asyncio 内部状态等分析还没有实现。Go 当前能够观察通用进程指标并识别运行时类型,pprof、堆、goroutine 和 GC 等专项诊断仍需要后续建设。
Go 官方提供了 CPU、堆等 Profile 及相关诊断能力,具体可参考 Go Diagnostics。后续接入时,还需要分别明确目标、采集方式和结果含义。
再往下,是 Linux 调度、内存和 I/O 等层面的观察。我希望逐步评估合适的内核分析工具,将它们与应用和 runtime 的结果联系起来。完整的跨层分析仍然是探索目标,需要一步步验证。
后来,在消费者重构中,我观察到手动关键词消费者的单进程 RSS 明显下降。这组观察采用进程口径,体现了运行时、依赖和业务实现共同调整后的资源变化。
这段经历与另外两篇文章相连:《为什么我把 Python 消费者逐步迁到独立的 Go 项目》记录了选型决策;《从逐条查询 ES 到本地匹配:手动关键词消费者的算法优化》记录了首个具体改造。
性能分析平台让我先建立观察资源的入口,再带着实际问题继续研究实现。我会沿着这条路径完善它:先把现象看清楚,再逐步解释现象背后的运行机制。
记录过程,也留下判断。
← 继续阅读其他文章