从GPU到Token：英伟达Vera Rubin如何重构下一代AI工厂

英伟达正在将下一代AI基础设施的竞争，从“谁拥有更快的GPU”推向“谁能建成效率更高的Token工厂”。 之前，企业只需要数百到数千块加速卡组成的集群，但现在AI基础设施面对的任务已经不再是完成一次次更大规模训练，还需要支持智能体系统持续运行生成更多Token、KV cache，并产生大量CPU沙盒、网络通信和数据存取等需求。 这意味着，AI基础设施的衡量标准正在发生根本变化。单颗芯片的峰值算力仍然重要，但已经不足以决定系统最终能够创造多少价值。用户更关心的是，在固定电力、机房空间和资本投入下，系统能够持续生成多少Token；单个用户获得Token的速度有多快；每百万Token需要多少成本；以及数万乃至更多加速器能否长时间保持稳定运行。 Vera Rubin正是英伟达面向智能体AI下一阶段给出的系统级答案。它并非单纯升级GPU，而是将CPU、GPU、LPU、DPU、网络、上下文存储和软件编排整合为一套异构基础设施，让不同处理器承担各自擅长的任务，共同扩大AI工厂的Token产能。 核心计算Vera Rubin：更重持续产出 Vera Rubin NVL72是这套基础设施中的核心计算引擎。它集成了72颗Rubin GPU、36颗Vera CPU，通过大规模NVLink铜质主干相连，可作为一个巨大的GPU。 对上层软件而言，这72颗GPU可以像一个拥有超大显存和计算能力的统一加速器运行。机架内部使用第六代NVLink和NVLink 6 Switch完成纵向扩展，机架之间则可以通过Spectrum-X Ethernet或Quantum-X800 InfiniBand进行横向扩展。 与GB200、GB300 NVL72类似，Vera Rubin NVL72将CPU、GPU、交换系统和网络端点设计为一个统一平台。区别在于，Rubin进一步提升了计算密度、显存带宽和GPU间通信能力，并针对推理、后训练和智能体工作负载增加了新的Transformer Engine、全机架机密计算能力以及第二代可靠性、可用性和可维护性引擎。 官方数据显示，单颗Rubin GPU提供288 GB HBM4显存和22 TB/s显存带宽，NVFP4推理性能达到50 PFLOPS，NVFP4训练性能达到35 PFLOPS。整个NVL72机架可提供20.7 TB HBM4显存。NVLink 6则为每颗GPU提供3.6 TB/s的全互联带宽，使72颗GPU可以在非阻塞互联结构中作为一个统一的大型加速器运行。 这种设计尤其适合预训练、后训练、测试时扩展、智能体扩展、强化学习、长上下文推理以及通信密集型的混合专家模型（MoE）。在这些场景中，性能瓶颈往往不只来自计算本身，还来自All-Reduce、专家分发以及跨GPU数据同步。GPU数量不断增加后，如果互联带宽和通信效率跟不上，更多芯片并不会带来线性的性能提升，反而会让大量GPU陷入等待。 按照英伟达公布的数据，与NVIDIA Blackwell平台相比，Vera Rubin NVL72仅需四分之一数量的GPU即可训练大型混合专家模型，每瓦特推理吞吐量最高可提升10倍的同时，每Token成本仅为原平台的十分之一。 可以看出，英伟达开始更加注重提高整套系统持续生产有效Token的效率。 CPU：重新成为智能体时代的关键瓶颈 在传统大模型训练中，CPU通常被视为GPU的主机处理器，主要负责数据加载和任务调度。但在强化学习和智能体场景中，CPU的角色正在明显扩大。 模型可以在GPU上快速生成代码、操作计划或候选答案，随后却需要CPU完成编译、执行、浏览器调用、数据库查询、环境模拟和结果验证。如果CPU环节过慢，GPU只能等待评估结果，昂贵的加速器便会出现空转。 Vera CPU正是针对这类负载设计。它采用88个英伟达自研Olympus Arm核心，通过空间多线程提供176个硬件线程。与传统依靠时间片共享执行资源的同步多线程不同，空间多线程可以在核心内部对资源进行物理划分，目的是在提高线程密度的同时，保持更稳定的单线程性能和尾时延。第二代可扩展一致性互联则将核心、共享三级缓存和内存系统连接起来，在高并发负载下维持相对一致的数据访问性能。 数据显示，Vera CPU支持最高1.5 TB LPDDR5X内存和1.2 TB/s内存带宽，并通过1.8 TB/s NVLink-C2C与Rubin GPU建立一致性连接，使CPU内存和GPU HBM能够形成更紧密的数据池。作为一款全新类别的处理器，它的任务完成速度比传统x86 CPU快1.8倍；Vera CPU的智能体沙盒性能最高比对比平台快50%；一个液冷Vera CPU机架最多容纳256颗CPU，可同时承载超过2.25万个强化学习或智能体沙盒环境。 这反映出AI系统的一项结构性变化：GPU继续负责高度并行的模型计算，CPU则承担越来越多控制密集型、分支密集型和串行任务。随着智能体执行链条不断拉长，未来衡量CPU价值的标准将不再只是通用服务器跑分，还包括它能否缩短智能体循环、减少GPU等待，并提高整个AI工厂的Token产出等。 引入Groq 3 LPU，拆分推理流水线 推理并不是单一工作负载。一次大模型请求通常分为预填充（prefill）和解码（decode）两个阶段。预填充需要处理完整输入、执行高并行矩阵计算并建立KV Cache，计算密度高，更适合拥有大容量HBM和高峰值算力的GPU；解码阶段则逐个生成Token，单次计算规模较小，对内存访问、调度确定性和尾时延更敏感。 单独使用GPU，可以通过扩大批处理获得很高的总吞吐量，但当并发请求形态不一致、批次较小或用户追求更快的单用户生成速度时，GPU利用率与交互时延之间会出现矛盾。为了扩大这一性能边界，英伟达将Groq 3 LPU纳入Vera Rubin平台，并推出NVIDIA Groq 3 LPX机架，与NVL72组成异构推理系统。 在这种架构中，Rubin GPU负责预填充、长上下文处理和解码阶段的注意力计算，LPU负责对时延敏感的前馈网络、MoE专家和部分逐点运算。两类处理器在每轮Token生成中交换中间激活数据，英伟达将其称为注意力—前馈网络解耦（Attention–FFN Disaggregation，AFD）。NVIDIA Dynamo负责识别请求类型、调度预填充和解码任务，并决定哪些计算在GPU或LPU上执行。 数据显示，一个LPX机架包含256颗Groq 3 LPU，提供128 GB片上SRAM、40 PB/s SRAM总带宽、640 TB/s纵向扩展带宽和315 PFLOPS FP8推理性能。LPU并不以最大HBM容量和峰值FLOPS为主要目标，而是通过编译器调度、显式数据移动和确定性执行，降低逐Token生成时的抖动。 英伟达表示，Vera Rubin NVL72与LPX组合后，在万亿参数模型上，每兆瓦推理吞吐量最高可达到Blackwell平台的35倍，并带来最高10倍的收入机会。 日益重要的“网络武器” 一座完整的AI工厂通常需要多类网络同时运行。 网络已经成为英伟达增长最快、也最具战略意义的业务之一。IDC数据显示，2026年第一季度，英伟达首次成为全球数据中心以太网交换机市场