国产 GPU 越来越多，为什么反而更难用？

国产算力的问题正在发生变化。 三年前，对不少模型公司和算力建设方而言，最迫切的问题是“有没有卡”；当国产芯片、服务器和集群方案逐渐丰富之后，另一个问题开始变得更突出：拿到一批卡，并不等于真正获得了同等规模的有效算力。 模型迁移到新的芯片上，接口能够对上，只是第一步；集群从几十张卡扩大到几千、上万张卡之后，通信、网络、调度以及故障定位中的任何一个短板，都有可能让大量加速卡陷入等待。再往前一步，当一家企业同时拥有不同代际、不同厂商的算力资源，如何把这些资源纳入同一套生产体系，又会带来新的适配和协同成本。 从“能不能跑”到“能不能规模化地跑”，国产算力竞争的中心正在从单颗芯片向整个计算系统延伸。 2019 年，陈维离开了工作近二十年的中兴通讯。 过去二十年，他主要负责 IP 网络产品，关注的是广域网、园区网，以及复杂业务环境下的网络功能。离开中兴之后，他仍然没有离网络太远，先后做过交换机、芯片和白盒设备。 变化发生在 2023 年。 这一年，ChatGPT 带来的大模型热潮迅速传导到国内。模型公司密集成立，算力需求骤然增长，一场围绕 GPU 的争夺随之展开。也正是在这个时间点，经由一位共同认识的老师介绍，陈维接触到了刚成立不久的基流科技。 基流科技成立于 2023 年 2 月。公司创始团队最早判断，随着模型参数和算力集群规模扩大，网络与通信可能成为 AI 基础设施中的关键瓶颈，因此将网络列为重要业务方向。陈维此前积累的网络和白盒交换机经验，与这条路线恰好吻合。 公司成立不久，他便加入了基流科技，成为早期团队成员之一。 从传统通信设备公司进入一家 AI 基础设施创业公司，陈维面对的并不只是业务方向的变化。 过去做广域网和园区网，设备要承载复杂的业务功能；AI 集群中的网络则更像一个高性能局域网，评价标准更加集中：带宽能否足够高，时延能否足够低，数千张加速卡之间能否及时完成数据同步。 “同样都叫交换机，但实际上有很大差别。”陈维说。 另一种差别来自工作节奏。大公司更强调流程和质量控制，一项产品需要按照既定流程逐步推进；创业公司更强调快速响应和迭代，一个问题白天暴露出来，晚上可能就要找到原因并推动解决。 陈维职业轨迹中的这次转向，恰好发生在国产算力从“先解决有没有”进入“怎么把算力真正用好”的阶段。 卡能跑起来，只是系统工程的起点 2023 年，大模型创业潮刚刚兴起，海外高端 GPU 供应又受到限制。对于不少模型公司和算力建设方而言，当时最迫切的任务不是比较不同方案的集群效率，而是先获得足够多的加速卡。 陈维将那个阶段概括为“先解决有没有”。 当时国产 AI 芯片的数量和成熟度都相对有限，只要一家公司能够把设备组织起来，让模型顺利运行，就有机会进入项目。客户对于性能、稳定性和软硬件协同的要求，还不像今天这样严格。 几年后，情况发生了变化。 国内 AI 芯片供应商和产品选择不断增加，互联网公司也陆续推出自研芯片。国产算力供给增多之后，单纯拥有一批卡已经不能说明问题。 客户开始追问：集群能不能持续稳定运行？训练任务中断后能不能迅速找到故障点？不同芯片之间能不能迁移甚至协同使用？理论算力又有多少能够转化为有效算力？ 对于已经进入规模化部署阶段的客户而言，系统效率的重要性正在明显上升。与此同时，多种芯片和软件栈进入同一企业之后，也开始产生过去并不突出的适配成本。 国内既有 GPU，也有 NPU 以及其他面向 AI 计算设计的加速器。不同芯片拥有不同的软件栈、运行库和算子实现。模型虽然大多运行在 PyTorch 等框架之上，但芯片厂商仍需要按照框架接口适配自己的算子和通信库。 接口能够对上，只意味着模型具备了运行的可能，并不代表性能已经达到生产要求。 一套模型原本在某种 GPU 上运行时，计算和通信的顺序可能已经经过反复调优。迁移到另一种芯片之后，即使上层接口保持一致，单个算子的执行时间、显存管理方式以及通信节奏都可能发生变化。 陈维举了一个例子：一种芯片完成某段计算需要三秒，换到另一种芯片后可能只需要两秒。如果原有的计算与通信调度方式没有随之调整，二者就无法充分重叠，部分加速卡会陷入等待。 单个环节只是多等待了一点时间，但把这种等待复制到上千张卡和成千上万次训练迭代中，就可能形成明显的性能损失。 在陈维看来，模型在不同国产芯片间迁移时，框架本身通常不是工作量最大的部分。真正困难的环节主要集中在算子和通信：缺失的算子需要补齐，已有算子需要重新调优，集合通信库需要适配，显存管理以及计算与通信的重叠策略也要重新安排。 运维系统同样需要调整，不同芯片暴露出的监控指标、错误类型和变量名称并不完全一致，原有的调度、监控和故障诊断工具往往无法直接搬到新平台。 表面上只是“换一种卡”，落到生产环境中，却变成了一项涉及框架、算子、运行库、通信、调度和运维的系统工程。 更重要的是，完成这些适配，只能说明芯片在一个系统中“能够运行”，并不意味着它已经具备规模化交付能力。少量服务器上被掩盖的兼容性问题、通信损耗和调度开销，一旦复制到更大的集群中，往往会进一步放大。 这也是国产算力从“能不能跑”走向“能不能规模化地跑”之后，真正开始考验系统能力的地方。 万卡以后，通信就是有效算力的一部分 当集群从几十张卡扩展到几千张甚至上万张卡，原本只是系统环节之一的通信，开始成为影响整体效率的关键变量。 早期模型规模有限，几十张卡就可能完成一次训练。此时，即便存在一定通信损耗，也未必会成为影响整体效率的关键问题。但随着模型参数量增长，训练和推理进入千卡、万卡规模，局部的延迟和异常会被更大范围地放大。 大模型训练本质上包含持续发生的计算与通信过程。模型被拆分到不同加速卡上，每张卡完成一部分计算，再通过集合通信进行数据同步。如果一次同步出现延迟，后续计算便无法按时开始。此时等待的不是一张卡，而可能是一整组甚至大量加速卡。 因此，集群规模扩大带来的问题，并不只是“网络流量变大了”。更关键的变化是，通信能否按时完成，开始直接决定计算能否持续向前推进。 从 GPU、网卡和交换机，到光模块、链路和通信协议，任何一个环节出现异常，都可能影响整个训练任务。 更复杂的是，AI 训练的网络流量往往具有明显的突发性：加速卡先进行一段计算，再在较短时间内集中同步大量数据。把时间尺度拉长来看，平均带宽占用未必特别高；但在同步发生的瞬间，网络需要快速提供足够的吞吐能力。 这意味着，传统的平均带宽指标并不足以反映集群的真实状态。系统需要把观测粒度缩小到更短的时间切片，才能看到瞬时拥塞、链路降级，以及计算和通信没有充分重叠的问题。 基流科技早期选择从 RoCE 网络和集合通信切入，也与这一判断有关。 一方面，大模型从一开始就是分布式系统，加速卡数量越多，同步效率越重要；另一方面，英伟达对网络能力的持续整合，也让行业越来越重视 GPU 性能之外的互联能力。 与此同时，基流科技接触到的早期客户已经开始遭遇实际的网络问题：单卡能够正常运行，扩展到集群之后，性能和稳定性却无法达到预期。公司的早期项目之一，就是帮助客户处理集群里的网络问题。 “我们不做 GPU，而是聚焦算力集群的软硬件协同与通信跨层优化。如果要帮助客户提高集群性能，对我们而言，通信和网络就是最可能发挥作用的地方。”陈维说