黄仁勋，给中国超节点带货

文 | 硅基研究室，作者 | kiki 2024年3月，英伟达创始人黄仁勋在GTC上率先提出了「超节点」这一概念，他在台上清晰展示了英伟达的NVL72系列如何将36个Grace CPU和72个Blackwell GPU「装」进一个液冷机柜中。 和传统「8卡一个服务器、一个服务器为一个节点」的不同，所谓的「超节点」是指通过高速互联技术，将大量GPU、CPU从过去「多台服务器」的协作整合为单个物理节点，也就是黄仁勋口中的「一台超级计算机」。 但彼时，皮衣老黄振臂高呼的「超节点」还未迅速成为一个风口，甚至NVL72系列还一度因为「散热问题」推迟交付，被不少媒体质疑又是画饼。 但后来巨头们用「千卡、万卡乃至百万卡AI集群」的实际行动，回应了对黄仁勋「超节点」的追捧。 有媒体后来报道，马斯克为了自家的xAI找黄仁勋加价插队下单1600台GB200 NVL72服务器机柜，甚至还和甲骨文董事长拉里·埃里森一起攒局，请黄仁勋吃饭。 两年之后，深谙饭桌礼仪的黄仁勋才悠悠辟谣：“确实一起吃了饭，气氛也很好，但他们从来没有求过GPU，只需要正常下单就行。” 黄仁勋说的确实也对，因为巨头们现在确实求的不是GPU，而是装着芯片的AI机柜。 今年7月，英伟达硬件工程高级副总裁Andrew Bell向外界透露一组数据，通过和十家制造伙伴的合作，最终能做到每天产出最高1000个Vera Rubin机柜。 大洋彼岸外的中国，距离皮衣老黄提出「超节点」的一年后，华为反手端出了自家的超节点CloudMatrix 384——14个机柜连接384张卡，卡是NVL72的5倍多，占地面积是其16倍。 关键这种以量取胜的方式，还能弯道超车。 据Semianalysis的拆解，单个CloudMatrix 384集群BF16性能总体是NVL72的1.7倍，总内存容量是NVL72的3.6倍，总内存带宽为后者2.1倍。 图源：SemiAnalysis 华为点起来的这把「超节点火」，随后一年多里，被整个国产算力生态捧为圣杯，仅在刚刚过去的WAIC上，就有20多家企业发布了超节点相关方案。 超节点当然是一门被逼出来的创新。一头是摩尔定律逼近极限锁死单颗芯片的性能上限，另一头大模型参数竞争没有停止，持续推高算力需求，因此它是兵家必争之地。 但超节点又是一块诱人的蛋糕。就像从卖芯片到卖机柜的黄仁勋所反复说的，英伟达不是卖芯片，它是造超级计算机、开AI工厂的，从芯片、互联、软件、存储和工程部署，围绕「超节点」上下游每个环节皆有利可图。 1、被逼出来的创新 说超节点是一门被逼出来的创新，这点并不为过。 在杨植麟和月之暗面用近3万亿参数的Kimi K3掀翻硅谷模型生态的同时，很少有人注意到，另一边的阿里云悄悄在微信公众号上认领了K3，表示阿里云灵骏真武M890超节点在Day0就适配了Kimi K3。 图源：阿里云 按照阿里云的表述，Kimi K3部署在了64张平头哥真武M890组成的超节点上。 为什么这么需要超节点？ Kimi后来在其47页的技术报告其实回应了一个关键：过去从学术界到业界一直讨论大模型Scaling有没有饱和，兜兜转转Kimi用实际行动告诉你，不仅没有消失，而且你部署前、部署后都要投算力。 Kimi给同行们总结了大模Scaling的两条路： 第一条路，部署前投算力，预训练阶段，更大的参数规模、更多的数据量，模型越智能； 第二条路是，部署后继续投算力，在后训练和推理阶段，推理优化、强化学习、Agent长程执行，对算力需求持续增长，更多的算力投入，模型的深度思考能力才越强。 换言之，尽管各家都在各出技术奇招、相互致敬，来提升模型scaling效率，但前提共识是模型参数规模的「军备竞赛」没有停止，甚至以每年10倍的速度增长，迈入十万亿级的阶段。 这样的形势下，算力集群规模也逐步迈向千卡级、万卡级、十万卡，乃至马斯克和黄仁勋在卷的百万卡级别。 算力的需求规模不同，建集群的方式也不同。 传统算力集群的节点通常就是一台8卡服务器，厂商们用横向扩展（Scale Out）的方式，通过传统以太网来连接大量AI服务器，增加节点数，来构建千卡、万卡集群。 但这种方式，模型厂商们很快发现性价比不高，因为有三堵墙： 第一堵墙是，通信。 大模型MoE架构的普及，专家并行（EP）和张量并行（TP）等分布式并行策略在模型训练中，通信量大，对带宽要求较大，传统以太网根本难以承受。 第二堵墙是，功耗。 你随手用豆包生成一个PPT，用CodeX跑一个自动化任务，距离你数千公里外的AI集群压力山大。 英伟达的芯片越强，但绝对功耗却在上升。单颗GPU功耗从A100的400W、H100的700W，到Blackwell时代，单颗B200的功耗已突破了1000W大关，GB200更是直接突破到2700W，传统风冷无法满足散热需求，过去标准化的机柜也压根扛不住。 第三堵墙，是复杂度。 万级处理器带来故障常态化，放大了传统集群运维复杂度。 Meta在2024年训练Llama 3时，就有最直接的体感，54天的预训练中，用于训练模型的16384个英伟达H100显卡集群共出现了419次意外故障，平均每三小时就有一次。 三堵墙下，被逼出来的超节点放大了另一个策略的先进性： 纵向扩展（Scale Up）。 简单来说，超节点可以将过去分散在数十台服务器里成百上千颗芯片在一个低延迟、高带宽的域内，整合为逻辑统一的一颗「超级大芯片」，实现协同高速计算，这个工作的地方也被称为HBD（High Bandwidth Domain，超带宽域）。 所以超节点的单节点已不再是过去意义上的1台服务器了，而是由多台服务器和网络设备共同组成的计算单元。 好处也显而易见。 一方面，通过内部高速互联，当机柜里塞进更多的GPU、实现更高效的互联，GPU间的参数交换和数据同步也会越顺利，这有利于缩短大模型的训练周期。 另一方面，理论上部署和运维难度也降低了。 超节点本身就是一个高度集成的、预调优的超级计算机，在供电、散热等方面用上效率更高的技术和系统，综合来看，降低组网和运维的难度。 不仅从集群的搭建角度看，超节点是一个被逼出来的性价比选择，对国产厂商而言，超节点也是一个被逼出来的务实选择。 原因很简单：大力出奇迹、用量取胜。 既然单颗芯片性能距离还存在差距，那不妨用更多芯片、更快互联的方式，用更高的系统效率来弥补单卡差距，这种以系统取胜的策略也是中国科技过往的优势所在。 有券商总结的好： 超节点就是中国AI的「韬定律」。 2、诱人的蛋糕 关于超节点，黄仁勋虽然最先提出概念、硅谷大厂AI集群火热，但在实际推进过程中，理想丰满、现实骨感。 图源：天风国际证券分析师郭明錤 一边，尽管早早拿出了AI工厂的路线图、鸿海等服务器厂商们产能拉满，但具体到英伟达下一代的AI机柜的量产交付时间却会被各种问题卡住。 据SemiAnalysis的爆料，原计划2023年下半年推出的Kyber NVL144机架架构，由于制造工艺的问题将推迟至2028年。 另一边，马斯克的xAI、扎克伯格的Meta都开始出租算力，连带着市场开始质疑CoreWeave、Nebius此类算力租赁商的成长性，甚至又回到了「算力是否建设过度」的老问题。 相反在中国，各类超节点方案似乎