NVIDIA 的 Vera 白皮书出现问题

大家好，各位互联网爱好者，NVIDIA 发布了一份长达 45 页的白皮书，解释了 Vera，这是其首款围绕该公司自己的 Olympus 核心构建的服务器 CPU。从纸面上看，Vera 是一款令人着迷的芯片，具有 88 核单片计算芯片，Olympus 是 10 宽 Arm v9.2 核心，具有值预测、图形预取器、每个核心 2 MB 私有 L2、164 MB 共享末级缓存以及 8 个 LPDDR5X 内存接口，有望达到 1.2 TB/s。不幸的是，NVIDIA 还花了很大一部分篇幅试图将这些有趣的设计选择变成关于 x86 的道德剧。传统的同时多线程被绘制为时间切片，可配置的 NUMA 拓扑被呈现为不可避免的 32 节点迷宫，四个 SPEC 组件成为“代理基准”，未定义的性能计数器比率被提升为因果证明，未标记的象形图成为 1.8 倍的强化学习结果。令人沮丧的是，维拉不需要这种帮助，早期的独立测试表明奥林巴斯确实很强大。白皮书最有力的案例是硬件；它最薄弱的情况是围绕它的故事，所以让我们把这个故事拆开。在拿出奶酪刨丝器之前，让我们先谈谈好东西。 Olympus 是一个非常广泛的乱序 Arm 核心。其前端每个周期可以解码十条指令，并且每个周期最多处理两个已采取的分支。 NVIDIA 描述了一个神经分支预测器、值预测、内存重命名、一个大指令窗口、6 个 128 位 SVE 管道、4 个加载管道、2 个存储管道、一个 96 KB L1 数据缓存以及对 2 MB 私有 L2 的大约 10 个周期访问。其中 88 个核心位于 3.4 TB/s 一致性结构和分布式 164 MB 系统级缓存后面。仔细观察核心，价值预测是奥林巴斯更独特的附加功能之一。长期以来，这一直是一个研究领域，价值预测允许奥林巴斯做的是，如果核心正确预测结果，相关指令可以继续移动，而不是在长延迟操作后面堆积。研究人员发现，Apple 在其核心中使用了值预测，AMD 则谈到了如何在 Family 17h（Zen 1 和 2）中预测某些浮点指令的值。然而，AMD 的 Family 17h 实施相当有限，而奥林巴斯似乎有更广泛的价值预测实施，更接近苹果。然而，图形预取器并不是 NVIDIA 独有的。英特尔有一个类似的机制，称为“数据相关预取器”，该机制至少从 2022 年开始就已投入使用。英特尔最新的数据中心 CPU Granite Rapids 也有一个指针数组预取器，“将恒定步幅负载预取的数据视为指针，并可能向与指针值相对应的内存地址发出预取请求”。这与 NVIDIA 为其图形预取器描述的生产者-消费者理念基本相同。英特尔的实现相当有限，因此 NVIDIA 的实现可能能够处理比英特尔的实现更复杂的链。因此，虽然 Vera 的 Graph Prefetcher 可能是一种可以处理更多工作负载的实现，但生产者-消费者预取并不是一个新想法。 “神经分支预测器”也不是一个新想法。早在 2012 年，AMD 在 Piledriver 微架构中实现了感知器分支预测器，并在 Zen 1 中继续使用基于感知器的分支预测器。然而，从 Zen 2 开始，AMD 仅使用感知器 BPU 进行初始方向预测，并使用 TAGE 预测器覆盖它，因为它使错误预测减少了 30%。在 Zen 5 中，AMD 可能已经完全致力于 TAGE 预测器，如果它还没有在 Zen 3 或 Zen 4 中这样做的话。转向 SoC 方面，凭借 Olympus 核心的强大性能，NVIDIA 为 Vera 提供了同样强大的内存子系统。 Vera 将八个 SOCAMM2 LPDDR5X 模块配对，容量高达 1.5 TB，带宽高达 1.2 TB/s。 NVIDIA 声称填充的内存子系统仅消耗大约 50 瓦。传统的 EPYC（霄龙）或 Xeon（至强）平台可以提供更容易更换的更高容量的 DIMM，但它需要付出电路板面积和功耗方面的灵活性的代价。最重要的是，我们可以看到的不仅仅是 NVIDIA 的结果。五月，Phoronix 的 Michael Larabel 在当前的 Arm 和 x86 服务器上运行了早期的 Vera 系统。在 NVIDIA 允许的测试集中，Vera 的 geomean 比 5 GHz EPYC 9575F 高出 10%，比 Xeon 6980P 高出 1.55 倍，而 Grace 则高出 1.63 倍，这使得 Vera 成为我们在公开测试中见过的性能最高的 Arm 服务器 CPU。测试中有一些重要的注意事项，例如 NVIDIA 选择允许的工作负载范围并且不允许频率或功率监控。 Phoronix 测试的系统是预生产的，测试窗口是一天，这对他们可以测试的内容设置了相当严格的限制，无论 NVIDIA 设置了多少限制。这意味着更广泛的覆盖范围必须等到维拉在野外被发现，而不是