通过两个带有 vLLM 的 Nvidia DGX 站以 607.8 tok/s 的速度为 GLM-5.3 提供服务

在本地运行前沿规模模型意味着将其所有权重保留在 GPU 内存中；最大的模型不再适合一台机器。通过 ConnectX-8 RDMA 连接的两个 NVIDIA DGX 站通过单个端点为一个模型提供服务，张量并行性将模型权重和计算分配到两个 GPU 上。 NVIDIA GLM-5.3 NVFP4 模型是 Z.ai 混合专家 (MoE) 模型的量化版本，拥有 7530 亿个参数，每个代币激活 400 亿个参数。稀疏激活减少了计算量，但所有模型权重仍然需要保持可用，因为每个令牌都可以路由到不同的专家。检查点约为 464 GB，超过了单个 GB300 GPU 上 HBM3e 的 252 GB。本教程使用两个 DGX 站将权重保留在 GPU 内存中，并禁用 CPU 权重卸载。在开始之前，请使用连接两个 DGX 站手册连接两个站。本文展示了如何使用 vLLM 在两个 NVIDIA DGX 站本地提供 GLM-5.3、发送请求以及测量并发负载下的行为。张量并行性 (TP=2) 将模型的张量拆分到两个 GB300 GPU 上。两个站点都会计算每个请求，而站点 A 通过一个兼容 OpenAI 的 API 返回答案。最后，您将拥有一个工作端点和负载下行为的基线。图 1. 两个工作站服务一个模型：每个 GPU 通过选定的 RDMA 连接保存并计算模型的一部分。他们的记忆仍然不同 先决条件 两个运行 Linux 的 GB300 DGX 站，通过连接两个 DGX 站剧本进行连接和验证，包括在两个轨道上进行 GPU 内存 RDMA 测试。使用相同的 Linux 用户名在两个工作站上进行 SSH 和 sudo 访问。 Docker 和 NVIDIA Container Toolkit 预装了 DGX Station 软件堆栈。允许对容器注册表、Hugging Face 和包存储库的出站访问。每个工作站上至少有 464 GB 的可用磁盘空间用于其检查点副本，以及用于 vLLM 容器映像和临时文件的空间。接受型号卡上列出的 NVIDIA 开放型号协议和原始 GLM-5.3 许可条款。 SPEED-Bench 受 NVIDIA 评估数据集许可协议管辖。 Hugging Face 帐户和读取访问令牌，可以访问门控 cais/hle 数据集：登录，打开其页面，然后选择 同意并访问存储库 。第 5 步从此数据集中下载 SPEED-Bench 提示。配套视频遵循相同的工作流程。视频 视频 1. 准备、推理、基准测试和关闭的演练 步骤 1. 准备两个工作站 本教程使用单独的计算机（例如笔记本电脑）来管理两个工作站。首先从该计算机打开到每个工作站的 SSH 会话。或者，也可以在每个站点的本地终端上工作。在两个工作站上运行此步骤中的每个命令，除非它以“On A”开头。这两个工作站以不同的角色运行相同的容器和检查点：工作站 A（等级 0）托管 API，工作站 B（等级 1）仅运行一个工作程序，没有 API 服务器。首先，检查 Docker 访问并收集稍后将使用的网络值： docker version ibdev2netdev ip -br addr 注意：如果 docker version 输出没有 Server 部分，则客户端无法访问 Docker 守护程序。如果错误是权限被拒绝，请按照 Docker 安装后过程操作：使用 sudo usermod -aG docker "$USER" 将您的用户添加到 docker 组，运行 exit，然后重新连接并重新运行 docker version。 docker 组授予 root 级别权限。 ibdev2netdev 输出列出了两个直接轨： cx8r0 和 cx8r1 。选择一个用于服务流量，例如 cx8r1 ，并在每个 Station 上注意两件事：它的 RDMA 设备 ，位于以铁路名称结尾的 ibdev2netdev 线上。在 mlx5_1 port 1 ==> cx8r1 (Up) 中，设备为 mlx5_1 。它的 IPv4 地址，位于以铁路名称开头的 ip -br addr 行上。在 cx8r1 UP 192.168.101.1/24 中，地址为 192.168.101.1 。两个车站的轨道名称和设备相同；仅 IPv4 地址不同。接下来，在每个工作站上创建 ~/glm53.env。此文件存储后续命令使用的值： nano ~/glm53.env 粘贴以下块并用您记下的值替换每个 <...> 占位符，保留引号。 RANK="" # 站点 A 上的 RANK="0"，站点 B 上的 RANK="1" HEAD_IP="" # 您在站点 A 上记下的 IPv4 地址；两个文件中的内容相同 WORKER_IP="" # 您在 B 站记下的 IPv4 地址；两个文件中相同 RAIL_IFACE="" # 您选择的 Rail，例如 cx8r1；两个文件中相同 RAIL_HCA="" # 您记下的 RDMA 设备，例如 mlx5_1；两个文件中的内容相同 IMG=vllm/vllm-openai:v0.30.0-aarch64 IMG+=@sha256:4864d46625cbc3307623e29ac742030655e27249feba7b97ec925ce4cc4dfb56 MODEL_REPO=nvidia/GLM-5.3-NVFP4 MODEL_REV=e3b8f9f2fad29727dfa95e766c5cac18ea1414bf MODEL_HOST="$HOME/models/GLM-5.3-NVFP4" CONTAINER=glm53-full PORT=8000 if [ "$RANK" = 0 ];那么不