深入探讨 Azure Maia 300 架构

从一开始，Azure Maia 就围绕一个单一的架构理念构建：优化 LLM 推理的整个系统，以便每一瓦特和每一美元都能提供更多智能。如今，Maia 300 已发展到第三代，它最充分地体现了这一理念。 Maia 300 是一个完整的系统，具有软件、芯片、物理机架基础设施、网络和数据中心，共同设计为作为单一平台运行，以满足云规模代理推理的需求。随着代理工作负载（包括多步执行、长上下文解码和工具使用）改变计算配置文件和推理的算术强度，这种系统级方法变得越来越必要。满足这些需求需要维持局部性，为计算提供足够的内存容量和带宽，最大限度地减少数据移动，有效扩展通信，并在数据中心的固定电源和冷却范围内发挥最大的能力。在 Microsoft，我们通过客户每天使用的产品和平台（从 Microsoft Copilot 和 GitHub Copilot 到 Microsoft Foundry）亲眼目睹了这种转变。大规模运行这些工作负载使我们能够以独特的视角了解人工智能如何在各行业中采用以及支持下一代人工智能应用程序和代理所需的基础设施。 Maia 300 旨在最大限度地提高每瓦特的有用代币和每美元的有用代币，为这些产品以及 Microsoft 为我们的客户提供的更广泛的 AI 产品组合带来更多容量、功能和性能。通过软件定义的数据流进行节能推理 Maia 200 引入了一种新型加速器架构，称为软件定义的本地访问数据流架构（SDLA）。首先观察到高效的数据管理，包括存储、移动和转换数据，是现代人工智能系统的核心挑战之一。 Maia 可编程数据流架构将控制路径编程与数据路径执行分开，并允许软件在专用本地存储器、DMA 引擎、计算引擎和网络之间明确协调数据放置、移动、转换和同步。 Maia 300 片上系统架构 Maia 300 改进了该架构，以实现长上下文、推理密集型和解码密集型推理。首先，内存从 SoC 的统一内存访问 (UMA) 组织转变为跨小芯片的局部感知非统一 (NUMA) 组织，因此软件可以将数据放置在使用它的计算附近。其次，具有硬件加速数据类型转换的新窄精度格式减少了每个令牌移动的字节数。第三，机架数量增加了一倍，达到 96 个加速器，纵向扩展域增长到包含 12,288 个加速器的超级集群，使更多加速器能够作为单个系统有效工作。 Maia 300 不是仅通过增加功率和硅片面积来扩展性能，而是通过一系列架构创新来提高每瓦性能，这些创新可优化整个系统的数据移动、局部性、精度和内存效率：多芯片架构通过将计算置于 TSMC N2P 上来提高性能，其中先进的工艺可提供最大的每瓦性能优势，同时将内存控制器和 I/O 功能分离到针对带宽、连接性和成本进行优化的芯片上。这增加了专用于计算性能的硅面积，并允许每个功能使用最适合其角色的技术，而 SDLA 则管理整个封装中的局部性和数据移动。该策略将系统的计算 FLOP 提高了 36%，HBM 带宽增加了 2.5 倍，并提供了 14% 的扩展带宽。优化低精度推理，引入增强型 MXFP4 和低于 3 位的存储格式。更窄的表示减少了内存占用和数据移动，使系统能够在相同的功率范围内支持更大的模型、更长的上下文和更多的并发会话。通过 ISA 增强优化推理内核：矢量引擎增加了对关键推理内核的优化，包括 softmax、低精度数据转换等操作。通过高效的片上数据移动，Maia 300 将内存从统一组织更改为跨小芯片的非统一 (NUMA) 组织。每个计算区域都有附近的内存，SDLA 对 DMA 引擎、本地 SRAM、HBM 和片上网络的显式控制将数据放置在使用它的计算旁边。数据传输的距离较短，从而减少了移动数据所花费的能源。针对每瓦带宽进行了优化的内存层次结构，将软件管理的片上 SRAM 与八个 HBM4 堆栈相结合，每个加速器提供 288 GB 的容量和 18 TB/s 的带宽。与 Maia 200 相比，它提供了 2.5 倍的内存带宽、增加了 33% 的容量以及大约 2 倍的每瓦 HBM 带宽，使更多模型和 KV 状态更接近计算。 Maia 300 带来 2.5 倍的内存带宽，增加 33%