首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

Pinterest 联合英特尔将开源性能分析推向互联网级规模

2026-11-22 1 阅读 约6分钟阅读 作者:Craig Risi
分享:
字号:
Pinterest 与英特尔合作对 gProfiler 进行功能扩展。这是一款开源的持续性能分析工具,能够为互联网规模的基础设施集群提供生产环境性能可见性。 Pinterest 运维着数十万个实例,为 6.4 亿月活跃用户提供支撑,业务服务采用 Java 、 Python 、 C++ 、 Go 和 Node.js 编写。在这样的规模下,即使是很小的效率提升也会带来显著的基础设施和成本影响。工程师此前使用 perf、async-profiler 和 py-spy 等工具,生成的性能分析数据是碎片化的,很难跨语言、跨机器进行关联分析。 Pinterest 没有自研一套闭源性能分析平台,而是联合英特尔扩展 gProfiler,并将新增能力回馈给该开源项目。本次合作新增了动态分析、硬件层遥测、挂钟时间分析、性能计数器火焰图等能力,同时针对大型生产集群对系统做了稳定性加固。 gProfiler 作为多个现有性能分析工具的编排层。它将系统级的 perf 数据与运行时专用工具(如用于 Java 的 async-profiler、基于 eBPF 的 Python 性能分析)相结合,针对单台主机上运行的全部进程生成统一的火焰图。 这一点对于现代服务来说尤为重要,因为应用的执行会跨越多个层级。一个 Java 应用可能将时间消耗在 JVM 内部、本地库或 Linux 内核中,而 Python 服务则可能涉及解释器、本地代码和内核活动。gProfiler 将这些视图整合在一起,而不是要求工程师手动选择并关联不同的性能分析工具。 这个代理会自动发现进程、启动相应的性能分析器、合并它们的堆栈跟踪信息,并上传生成的性能分析数据,全程无需修改应用程序代码。 新的能力让工程师能够通过 UI 或 API 选择服务、主机或集群,并远程触发性能分析。代理平时处于休眠状态,CPU 占用低于 1%,内存占用约 100 MB,并通过定时心跳接收性能分析指令。你可以在不重新部署代理的情况下修改性能分析的频率、时长和所使用的分析器。 这就把性能分析转变为一种运维能力,不再要求工程师获取单台机器的 shell 访问权限。 通过与 Intel PerfSpect 集成,gProfiler 能够收集硬件级信息,如缓存行为、内存带宽和 CPU 停顿。Pinterest 还增加了 PMC 火焰图 功能,将函数与缓存未命中、分支预测错误等硬件性能事件关联起来。 另一个新增功能是挂钟时间分析。CPU 分析统计的是处理器实际占用时间,但很多时候服务 CPU 占用不高却响应缓慢,原因是线程在等待IO、锁或者远程调用。挂钟时间分析可以把这类等待耗时可视化。 gProfiler 将数据采集与分析相分离。代理运行在各个主机上,而 gProfiler Performance Studio 负责聚合和可视化生成的性能分析数据。 性能分析数据存储在 S3 中,通过 SQS 进行异步索引,并存储在 ClickHouse 用于分析查询。React 前端提供火焰图交互浏览功能,聚合数据让工程师可以跨主机、服务和时间段比较性能分析结果。 Pinterest 和英特尔还针对生产环境对平台进行了加固,解决了代理资源消耗、磁盘占用、TB 级海量数据摄入等问题,然后才将其部署到整个集群。 gProfiler 所处的持续性能分析赛道竞争日益激烈。 Parca 和 Grafana Pyroscope 使用 eBPF 及相关采样技术提供全集群范围的性能分析,而 Datadog 等商业平台则将持续性能分析与更广泛的观测能力相结合。 gProfiler 的差异化在于侧重系统级、多运行时性能分析,以及开源可扩展性。它不是要取代 perf 或 async-profiler 等工具,而是对它们进行编排。它还通过英特尔的工具链增加了硬件级性能分析能力。 英特尔的 VTune 能提供更深层次的处理器和应用性能分析,但它主要是作为性能工程工具设计的,而非云原生集群分析器。Pinterest 特别指出,正是这点差异,促使他们选择基于 gProfiler 进行构建,而不是去改造 VTune。 在小规模场景下,性能分析通常是工程师在出现性能问题时才会用的手段。而在 Pinterest 的业务规模下,等待工程师复现问题或手动对机器进行性能分析的代价太高了。持续性能分析提供了一个基线,而动态性能分析让团队可以在异常发生时进行针对性的排查。 通过在开源平台上整合运行时性能分析、系统行为和硬件性能数据,Pinterest 将性能分析打造为生产可观测性的又一层能力。 【声明:本文由InfoQ翻译,未经许可禁止转载。】 查看英文原文: https://www.infoq.com/news/2026/11/pinterest-intel-profiling/
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱