突发！OpenAI「掀桌」：自研推理芯片「墨西哥辣椒」跑赢英伟达

编辑｜山辉、Youli 一觉醒来，关于 OpenAI 的消息真是满天飞。 先是 X 用户 Leo@synthwavedd 独家声称： OpenAI 已完成一次新的预训练，代号「Bel」，参数规模据称超过 10 万亿，或是 Doug 的继任者，可能成为 Astra /GPT-6 的基础模型…… 一圈搜索下来发现，并没有准确的消息。但确凿无疑的是，OpenAI 的首款自研推理芯片出成绩了。 就在刚刚， OpenAI 公布了首款自研推理芯片 Jalapeño 的最新测试结果： 取得了重大突破， 这款芯片专为大语言模型推理设计，通过全新的架构设计，它能够同时提升吞吐量，并降低延迟，在保持高能效的同时，实现两者兼得。并在多个模型测试中超过 NVIDIA GB200、GB300 系统的效率表现。 随即，OpenAI CEO Sam Altman 也在 X 上表示：「我们制造了一款芯片，它的速度很快。」 需要注意的是，作为 OpenAI 首款自研推理芯片， Jalapeño 并不是用于训练下一代 GPT 模型的芯片，而是针对模型上线后的运行阶段进行优化。 简单来说：训练阶段是让模型学会能力，而推理阶段是让模型快速回答用户请求。Jalapeño 则主要解决的是第二个问题。 OpenAI 表示，传统硬件系统往往需要在两个指标之间做取舍： 更高吞吐量（throughput）：单位时间处理更多请求； 更低延迟（latency）：让用户更快得到响应。 例如，大规模批处理可以提升整体效率，但可能增加单次请求等待时间；而追求极低延迟，又可能牺牲资源利用率。Jalapeño 的目标，是在一个架构中同时优化两者。 而在具体性能方面，OpenAI 表示，在多个大模型推理测试中， Jalapeño 要优于 NVIDIA GB200 和 GB300 系统。 其中测试模型包括： OpenAI GPT-OSS 120B； DeepSeek R1 670B； Moonshot AI Kimi K2.5 1T。 尤其引人注意的是 DeepSeek R1 和 Kimi K2.5 的出现，这似乎是在说明：Jalapeño 并不是只针对 OpenAI 自家模型优化，而是能够适配不同的大模型工作负载。 有意思的，Jalapeño 可被翻译为「墨西哥辣椒」，而在此消息一经发布后，也是立即引起了各路网友的调侃与热议。 「你打算用辣椒的名字来命名你的芯片吗？迫不及待想体验了。」 而对于 OpenAI 来说，Jalapeño 的推出，表明 OpenAI 正在尝试打通「模型 — 软件 — 芯片 — 数据中心」的一整条链路。 另外值得一提的是，此次 OpenAI 的 Jalapeño 芯片，在硬件上是与 Cerebras 进行的合作。 Tibo 发文称：「这一能力得益于我们与 Cerebras 建立的深度合作，以及他们独特的硬件架构。未来，这种合作还将进一步推动「超快速」体验的边界。 我非常期待双方继续合作，在 Cerebras 平台上不断突破极限，探索如何以最快速度运行我们能力最强的模型，并将这种体验带给对性能要求最高的客户。」 其实，OpenAI 并不是第一家走向自研芯片的 AI 公司。此前很多 AI 大厂也早已纷纷下场造芯。比如 Google 推出了 TPU； Amazon 开发 Trainium、Inferentia； Microsoft 推进 Maia； Meta 也布局自研 AI 加速器…… 背后的逻辑非常类似：通用 GPU 足够灵活，但并非针对所有 AI 工作负载优化。对于每天运行海量 AI 请求的公司来说，如果能够针对自身模型、软件系统和服务方式设计芯片，就有机会进一步降低成本…… 下面我们来具体看一看 Jalapeño 的能力。 更快，更省电 Jalapeño 的核心优势，是在相同功耗下完成更多 AI 工作，同时更快返回响应。现有系统通常需要在吞吐量和延迟之间取舍，而 Jalapeño 试图用同一套架构同时实现更高吞吐量和更低延迟。 OpenAI 强调，这种优势不仅出现在自家模型上，也覆盖外部开发的模型，证明 Jalapeño 是一套更通用的推理架构。 在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三个公开模型上，Jalapeño 在峰值吞吐量下实现了 1.5～1.9 倍的每瓦 AI 工作量，端到端延迟降低至对比系统的 1/1.7～1/3.6；对于高度交互式的工作负载，性能优势达到 2.1～4.1 倍。 在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 上，Jalapeño 的峰值每瓦吞吐量分别达到现有最佳系统的 1.9 倍、1.7 倍和 1.5 倍。 其中，在规模最大的 Kimi K2.5 上，Jalapeño 的峰值每瓦性能约提升 1.5 倍，端到端延迟降低约 3.4 倍。 在 Kimi K2.5 1T 上，随着单用户解码速度提高，Jalapeño 相比 GB300 的每瓦吞吐量优势从峰值的 1.5 倍扩大至最高 56.1 倍。 OpenAI 没有只比较单颗芯片的峰值性能，而是更关注一个指标：在满足用户和交互式 Agent 延迟要求的情况下，每单位电力能够完成多少有用的 AI 工作。 原因也和 Agent 有关。Agent 往往需要连续完成多个步骤，一次请求中看似不大的延迟，会在整个任务执行过程中不断累积。 这也是 Jalapeño 在低延迟区间表现最明显的地方。以 DeepSeek R1 为例，在对比系统此前最佳 TBT 对应的条件下，Jalapeño 每千瓦吞吐量达到 12,258 mixed TPS/kW，对比 GB300 的 118，相差约 104.3 倍。 在 DeepSeek R1 670B 上，Jalapeño 峰值每瓦吞吐量约为 GB300 的 1.7 倍；在相同解码速度下，优势最高扩大至 104.3 倍。 OpenAI 使用 SemiAnalysis 的公开基准 InferenceX 进行测试，并与目前领先的商用系统比较。从高吞吐量服务到高度交互、低延迟场景，Jalapeño 在三个公开模型上都实现了更好的每瓦性能和延迟组合，位于 Pareto frontier（帕累托前沿）。 在 DeepSeek R1 670B 的不同运行点上，Jalapeño 在每瓦吞吐量与交互速度、端到端延迟之间形成更优组合，处于 Pareto frontier（帕累托前沿）。 Jalapeño 的额定功耗为 700W，不过在此次测试的工作负载中，实际持续功耗始终保持在 550W 或以下。 为 Agent 而生 Jalapeño 从一开始就是围绕现在及未来大语言模型，尤其是交互式 Agent 设计的。 LLM 推理的不同阶段有不同瓶颈：Prefill 更依赖计算能力，Decode 更受内存带宽限制，核心和芯片之间的数据移动也会增加延迟。 因此，OpenAI 将芯片、内存、网络、软件和机架级系统协同设计。包括 KV Cache 在内的模型状态可以被明确放置并尽可能留在本地，让 Jalapeño 同时适应 Prefill 和 Decode，并随两者工作