OpenAI 如何利用自己的法学硕士来设计 Jalapeo 芯片

8 月 25 日，OpenAI 全面推出了该公司首款人工智能加速器芯片 Jalapeo。 Jalapeo 提供高达 13.4 petaflops 的 4 位计算能力，并可访问 232 GB 的最先进内存，并以每秒 15.4 TB 的速度与其连接。 OpenAI 引用的基准显示，与 Nvidia 的 GB300（该公司目前依赖的芯片）相比，Jalapeño 可以将端到端延迟（提示到最后一个令牌之间的时间）减少多达 3.6 倍，并且功耗更低。一旦 Jalapeo 在 OpenAI 推理机群中广泛使用，这些数字是否会转化为现实世界的收益还有待观察，但性能只是故事的一半。另一半是芯片的设计方式，正如您所料，OpenAI 的大型语言模型 (LLM) 加速了这一过程。 Jalapeo 在不到 20 个月的时间内从第一个架构概念转变为第一个芯片。当完成的设计进入制造阶段时，第一个 RTL（定义芯片逻辑的寄存器传输级代码）与流片仅相隔九个月。这是一个很快的时间表，但专家认为，随着法学硕士的改进并更深入地集成到芯片设计工具中，它可能很快就会显得缓慢。毫不奇怪，OpenAI 看好这些机会。 “这些模型为我们的工程师提供了超能力，”OpenAI 硬件副总裁 Richard Ho 说道。 “我们的工程师仍在推动这项工作。他们仍然是所发生事情的最终仲裁者。但他们可以更快地完成工作。他们可以探索更多的路径。” OpenAI 通过一个小型设计团队取得了快速成果 Ho 表示，设计 Jalapeo 的团队在项目过程中平均不到 100 人，并且随着团队追求第二代和第三代设计，今天的人数仍保持在大约 100 人。这个数字包括整个硬件团队的广泛角色，从系统设计到软件和供应链，但不包括与 OpenAI 合作开展该项目的 Broadcom 的角色。 OpenAI 和 Broadcom 之间的分工通常分为设计和实现。 OpenAI 的团队负责端到端系统设计，包括推理加速器、内存层次结构和网络。 Ho 表示，博通负责“从大门开始的物理设计”。与博通的合作削弱了一些对 OpenAI 速度的看法。代理芯片设计初创公司 Verkor.io 的联合创始人 David Chin 表示，“他们给我们的时间表非常可信”，但他相信博通的帮助对于 Jalapeo 的快速进度至关重要。 “如果你让其他人从头开始，这是不可能的，”他说。 Ravi Krishna 也是 Verkor 的联合创始人，他称 OpenAI 的速度是“一个相对令人印象深刻的结果”，但他补充说，如果该项目今天开始，他预计法学硕士能力的改进可能会导致更快的时间表。加州大学圣地亚哥分校的杰出教授 Andrew Kahng 也发现 OpenAI 的速度值得注意，称其“可能是当今同类中最好的”。 Kahng 回忆起他共同组织的 2016 年 IEEE 设计自动化未来研讨会。时任谷歌工程师的理查德·何 (Richard Ho) 担任研讨会的主讲人。 Ho 对设计自动化有着强烈的看法，并将完成芯片设计所需的时间定义为团队一天内可以完成的迭代次数的函数。 OpenAI 的法学硕士如何加速 Jalapeo 的设计 “自动化本身在芯片设计中已经存在了数十年。这不是一个新问题，”马里兰大学帕克分校半导体计划和创新主任 Ankur Srivastava 说道。然而，法学硕士与以前的自动化工具的不同之处在于它们理解语言和代码的能力。他说，这使得它们特别适合“仍属于问题的语言领域”的芯片设计任务。 OpenAI 团队设计了一个利用这一优势的工作流程。 OpenAI 的前端工作流程是围绕加速硬件合成 (XLS) 构建的，XLS 是最初由 Google 开发的开源高级合成工具链。高级综合是芯片设计自动化的一种形式，允许工程师在更熟悉的编程环境中设计芯片。就 XLS 而言，芯片设计人员可以使用 DSLX（一种受 Rust 启发的特定领域语言）和 C++ 等语言进行编写。然后，XLS 将它们转换为 Verilog，这是一种用于描述电子系统的硬件描述语言。 OpenAI 技术人员 Chris Leary 表示：“我们正在考虑如何利用 AI 来加快项目速度，而 AI 在软件方面表现得更好。” “XLS 在某些方面看起来像软件，所以它得到了这个好处。” Leary 在 Google 工作期间就开始使用 XLS，因此非常熟悉 XLS 的运作方式，这也很有帮助。 Kahng 同意使用 AI 加速高级合成（例如 XLS）的决定是有意义的，因为我