AI 开始给自己造芯了，OpenAI 只用了九个月

「造芯」这件事，已成了一种潮流。 就在昨晚，OpenAI 公布了和博通联合自研的首款 AI 推理芯片 Jalapeño（墨西哥辣椒）首轮公开测试成绩。 在 SemiAnalysis 发布的公开基准测试 InferenceX 上，Jalapeño 运行了 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三款模型，结果显示，Jalapeño 每瓦完成的 AI 工作比英伟达 GB200、GB300 多 1.5—1.9 倍，端到端延迟缩短至对照系统的约 30%—60%。 运行 DeepSeek R1 时，一次 8K 输入、1K 输出的推理从 5.99 秒降到 1.65 秒，最低 token 间隔则由 5.90ms 压到 1.43ms。 有了 Jalapeño，也许未来在 ChatGPT 上你能看到的不止是 1.5 倍速输出结果的「快速」模式，只要舍得花钱，3 倍速也是有可能做出来的。 实力着实超群，让 Sam Altman 在说这件事时也相当言简意赅： 「我们制造了一款芯片，它很快。」 火爆小辣椒，为推理而生 不同于更通用的 GPU，Jalapeño 从设计之初就只有一个目标：承载现代大模型的推理部分工作。 这一目标，跟当下 AI Agent 的流行又有着紧密关联。 须知道，一问一答的普通聊天只需要调用几轮模型，延迟也比较容易忍受；但只要是看过 Agent 干活时的任务链，就会发现它们往往要连续调用模型几十次：读文件、搜资料、操作软件、检查结果，再根据结果推进下一步工作。 每一步的推理延迟累积起来，让 Agent 处理哪怕不算太复杂的日常事务，也往往会消耗掉不少时间。 这就是为什么，ChatGPT 的首页界面会分为「聊天」和「工作」—— 简单的日常问答可以快速输出，而需要调用到 Agent 的复杂任务必须单独区分开来，以免「想得太多」的 Agent 拖慢日常体验。 如果可以让 Agent 推理得更快，那 Agent 的响应也会越来越接近普通聊天。原则上，以后的 ChatGPT 又将恢复到最初的形态：首页只有一个对话框，不再需要专门区分聊天和工作。 而为了让推理速度更快，Jalapeño 在设计之初就针对大模型推理的真实负载做了专门优化。 众所周知，只要是冯·诺依曼架构下的芯片，运算速度往往都要远大于数据运输的速度。在前天的文章中我们用过一个比喻：哪怕厨房切菜翻炒的速度快如闪电，只要运输食材的速度跟不上，那再怎么快手的厨师也只能守着空灶等待。 大模型的推理过程主要分为两个阶段：第一段是 Prefill，芯片一次性读懂用户输入的整段提示词，主要考验计算能力；第二段是 Decode，模型开始逐个生成 token，这一步需要反复从内存读取权重和 KV Cache，几乎必然会撞上数据搬运速度跟不上计算速度的「内存墙」。 图｜OpenAI 这也意味着，要想接近计算能力的上限，就需要像 OpenAI 在设计 Jalapeño 时那样，将计算核心、HBM 内存和网络通盘考虑进来协同设计，尽可能地减少读取数据的耗时。 据 SemiAnalysis 披露，Jalapeño 配有 216GiB HBM4，内存带宽达到 15.4TB/s。这个数字接近微软 Maia 200 和 Google Ironwood 的两倍。如此激进的带宽，就是为了让数据能跟上计算，把那些被等待数据浪费的理论算力重新利用起来。 图｜SemiAnalysis 另外，Jalapeño 将计算核心和 HBM 划分成了多个彼此对应的区域，让模型权重和 KV Cache 尽量留在负责处理它们的本地内存中；需要跨区域同步时，才经过专门的高速通信网络运输数据，从而减少数据在核心、内存和芯片之间来回搬运的步骤，也减少计算单元「等菜」的时间。 图｜SemiAnalysis 由于计算、内存和网络资源一开始就并入芯片设计架构之中考虑，Jalapeño 达到了极其惊人的能效比——它的标称功耗为 700W，实际测试中持续功耗更是低于 550W；作为对照，英伟达的 GB200 和 GB300 标称功耗分别为 1200W 和 1400W。 也就是说，Jalapeño 能够用英伟达芯片约一半的能耗，实现相对更高的推理性能。 能耗就是电，电就是白花花的钱。考虑到数据中心每日面临的惊人计算需求，任何能效比的优化，都能让 OpenAI 的算力成本支出减去一截。 图｜Computex 2026 keynote OpenAI 计划在年底前，将 Jalapeño 部署到计算基础设施之中，同时第二代产品已经在开发中段，第三代也初具雏形。 随着 Jalapeño 广泛使用，我们也有望见到 Tibo 更频繁地按下那颗「重置」按钮。 三年造芯，九个月流片 Jalapeño 的「快」不只在于性能，它的设计生产也快得不像半导体产品。 据路透社报道，这个项目正式起步时间大约是 2024 年底至 2025 年初，初始成员很多来自 Google TPU 项目。而在那之前一年，OpenAI 已经邀请了前 Google TPU 负责人 Richard Ho 组建硬件团队—— 很显然，早在 Gemini 借助自有 TPU 算力一度弯道超车之前，OpenAI 已经意识到了自有芯片的重要性。 最终，这个项目的正式亮相是在去年 10 月，当时 OpenAI 宣布将会和博通合作部署 10 吉瓦的定制 AI 加速器，「将前沿模型与产品研发经验直接融入硬件」；传出正式流片的消息，则是在去年 11 月。 综合 6 月份官方博客披露这个项目从初始设计到流片只花了 9 个月、路透社估计从流片到成品需要约 6 个月、SemiAnalysis 透露在 8 月正式测试前 OpenAI 只进行了约 3 个月的芯片上电调试等消息，我们可以整理出一条清晰的时间线： Jalapeño 大约在 2025 年 2 月进入正式设计周期，11 月完成流片，今年 5 月 OpenAI 拿到第一块成品芯片，8 月份完成调试并开启公开测试。 每一步都密锣紧鼓，直逼芯片设计速度的上限。 据 Semiconductor Engineering 的估算，像 Jalapeño 这样高复杂度的 AI 加速芯片，从正式设计到流片通常需要 18—24 个月；OpenAI 将正式设计周期压缩到九个月，可以说是快了接近一倍，堪称是 AI 时代狂飙突进的最佳写照。 实现如此速度的一个关键因素，正是 AI 本身。 用 OpenAI 的话来说，AI 直接参与了 Jalapeño 的开发。他们的模型在设计期间用于探索实现方案、参与验证和修改方案、优化芯片算术电路等工作；成品芯片进入实验室后，OpenAI 又使用 Codex 和未发布的 Astra 模型，在两个月内将 GPT-OSS、DeepSeek R1 和 Kimi K2.5 几款不在 Jalapeño 原始适配计划中的模型完成了适配。 作为「大加速时代」的标志和产物，AI 正在大幅缩短芯片的研发过程。第二、第三代 Jalapeño，以及其他大模型公司的专用芯片，都有可能在未来几年内跟我们见面。 为什么模型公司都在自研芯片？ Jalapeño 的问世固然惊艳，但 OpenAI 不是自研芯