“榨”出硅的极限：怎么让GPU不“闲着”？

文 | 硅谷101 AI行业突然开始了一场“造芯大战”。 7月20日，The Information报道称，谷歌正在研发一款内部代号“Frozen v2”的服务器芯片，计划把Gemini模型的部分架构直接固化进硅片。 而在一个月前的6月24日，OpenAI亮出了和博通联合研发的首款推理芯片Jalapeño，从设计到流片只用了九个月。 此外，Anthropic、智谱、DeepSeek也都相继传出正在进行相关布局。 但并不是每家公司都有资金、有能力去重造一块芯片。因此有一个市场正在引发资本和巨头的关注：AI infra。背后的逻辑是：已经部署好的数据中心和GPU，本身还存在优化的空间。 AI推理平台Baseten一年收入增长了20倍，估值从21亿美元暴涨至130亿。同赛道的fireworks，七个月内估值翻了四倍达到 175 亿美元，年化营收突破10亿美元。 而最近，这个赛道还迎来了一股强劲势力。开源推理引擎“双子星”vLLM和SGLang前后脚宣布商业化，种子轮融资都超过1亿美元，背后几乎聚齐了AI产业里所有巨头和顶级风投的名字，拉开了强强对决的大幕。 所以，“GPU的利用率”成为了硅谷的最新关键词，也带出了一个新的千亿级市场。 这篇文章，我们邀请到了由SGLang孵化的RadixArk的联合创始人和核心成员，以及数据中心专家，一起聊聊AI Infra的四层架构、行业如何把“硅”的潜力榨到极限，以及背后的关键技术。 大模型的重心从训练走向推理，这对算力会提出完全不同的要求。 训练成本极高，但训练完之后，任务就告一段落。但推理不同，无论是Chatbot还是Agent，AI应用越多，GPU需要处理的请求就越多，而且这些请求完全不间断，推理需求也随之爆发性增长。 朱邦华 RadixArk联合创始人 随着新的应用逐渐增多，推理的总量会比原来大很多。随着大家不断拓展应用、不断拓 展模型的智能边界，推理的需求会越来越大。现在已经大到，市面上的卡基本都很难找到，每一家都缺卡。 现在的情况就是，市面上每一家都缺卡，而对于有钱的巨头们来说，最直接的方法当然还是继续建数据中心、采购更多GPU。 Meta、Google、Microsoft等科技巨头持续提高资本开支，今年合计预计超过1万亿美元。而黄仁勋预测，到2030年，全球AI基础设施年投资规模将达到4万亿美元。 但华尔街，是担心的。 Ethan Xu 前微软能源战略经理、突破能源科研总监 华尔街的担心不无道理，过去我们是有前车之鉴的。像互联网时代泡沫的破灭，当时大量资金投入到光纤建设、互联网公司，虽然长期来看实现了它们的价值，但短期出现了很大的问题。 所以，如果不能在短时期内大规模增加算力，还有什么办法能够满足AI快速发展的需求？答案是： 提高GPU的利用率 。 这背后的这一层产业，叫做AI Infra（人工智能基础设施层）。 首先，我们从AI Infra的整体架构角度，来科普GPU的一个误区： 你以为GPU很忙，其实大多数时候，GPU是很“闲”的。 GPU只是整个AI系统中的一环。从一条用户请求进入系统开始，它需要经过网络传输、资源调度、模型加载、内存管理，再到最终完成推理、返回结果。整个过程中，只要任何一个环节出现瓶颈，GPU就只能停下来等待。 卡内基梅隆大学（CMU）今年4月发布的一项研究，对一个大型学术AI集群里的756块GPU做了31天的细粒度遥测，覆盖A6000、L40S、A100、H100到最新B200等六种型号。结果发现，很多时候GPU都处于一种叫做“execution-idle”（执行时空转）的状态。 这种“看似繁忙实则空转”到底有多严重？在他们观测的集群中， 整体上有近20%的执行时间和约11%的能耗被浪费在了等待上 。更值得关注的是推理场景，Azure Code负载有高达65%的能耗消耗在这种空转上，OpenAI的Chat类请求也达到52%。 那么，为什么GPU会被跑不满呢？我们首先要了解一下AI Infra的四层架构，每一层其实都会影响GPU的利用率。 第一层：能源基础设施（Power Infrastructure） ，也就是电。这一层决定的是，GPU能不能持续稳定地运行。 第二层：计算硬件（Hardware Infrastructure） ，也就是卡。除了GPU，现在还包括高带宽存储（HBM）、高速互联（NVLink、InfiniBand）和CPU等。这一层决定的是理论上能够提供的计算上限。 第三层：系统软件（System Software） ，包括CUDA、编译器（Compiler）、通信库、内存管理和底层算子（Kernel）库等，决定的是每一次计算能不能被执行到硬件的物理极限。 第四层：服务编排（Service Orchestration） ，这一层要负责协调GPU资源，决定哪些任务优先运行，以及不同业务间的动态调度。推理引擎、训练框架、请求调度和资源管理等都属于这一层，代表性项目有vLLM、SGLang等，也是近年来创新最密集的地方。 搞清楚了AI Infra的架构之后，回到我们的问题：为什么这么多GPU跑不满，主要卡在什么环节？ 理论上来说，四个层级中的任何一层出现问题，都会影响GPU利用率：电力和散热不足，GPU会被迫降频运行；硬件互联跟不上，会让GPU花大量时间在等数据而不是算数据；系统软件优化不够，会让每一次计算都无法触及硬件的物理极限；而请求调度不当，会让本来可以合并的计算被拆散、可以复用的结果被重算，造成浪费。 但这四层的问题，性质并不相同。能源基础设计层和计算硬件层是“硬”问题，电力、散热、芯片的改造周期以年为单位，而且优化空间正在快速见顶。系统软件层和服务编排层是“软”问题，本质上是工程问题和算法问题，优化之后能带来数倍的性能提升。 在这样的背景下，行业的注意力也在快速往这两层“软”问题上移。 陈震林（Richard） RadixArk Member of Technical Staff 尽管成本主要发生在物理层，但大部分工作都要放在软件层和服务编排。因为你把人力投入到这一块当中，能够带来最大的优化可能性。 举一个具体的例子。一台NVIDIA GB200 NVL72机柜，采购成本大约在400万美元。但如果软件栈没有做好调度和优化，GPU的实际利用率可能只有50%，相当于只用到了200万，剩下的200万美元就以电费、折旧和机会成本的形式被白白烧掉了。反过来，如果能把利用率从50%推到90%以上，效果就相当于凭空多出了一台机柜。 陈震林（Richard） RadixArk Member of Technical Staff 软件层能做得最好，就会带来更好的服务和更好的token消耗。通过这一层的重写和优化，去帮助推理引擎和训练框架做更好的交互，也包括像reinforcement learning（强化学习）这种现在特别火的post-training（后训练）过程的调度，把GPU的利用率给提上来。 这就是为什么，当硬件成本高到这个量级时，软件层的每一次优化，都变成了直接的商业问题。 不久之前，有网友扒出Anthropic的员工中现在占比最大的就是AI Infra相关的工程师，背后也与这个逻辑息息相关。 陈 震林（Ri