HBM 不够用了，AI SSD 迎来爆发前夜

HBM 装不下、数据搬不动，SSD 开始进入实时路径 大语言模型推理正在同时撞上两堵墙：一堵是容量墙，另一堵是 I/O 墙。模型参数持续扩大，长上下文、多轮对话和智能体任务又让 KV Cache 快速膨胀；MoE 模型虽然降低了单次计算的激活参数量，却需要保存远大于显存或内存容量的专家权重。在云侧算力中心，昂贵的 HBM 被模型权重和 KV Cache 长期占用，GPU 有效利用率受制于数据搬运；在边缘侧和端侧，有限的 DRAM 或统一内存则直接限制了本地可运行模型的规模。 当显存和内存越来越难以独自承接推理负载，SSD 开始从模型文件的静态存放设备进入大模型推理的实时数据路径，成为 HBM、VRAM 和 DRAM 之后的一层正式存储层级。 这一变化最早在推理基础设施和集群架构中得到清晰体现。月之暗面的 Mooncake 采用以 KV Cache 为中心的分离式推理架构，将 GPU 集群中原本未被充分利用的 CPU、DRAM 和 SSD 组织为分布式缓存资源[1]；Mooncake Store 进一步支持由 DRAM 与 SSD/NVMe 构成的多级缓存，使冷数据能够在容量更大、成本更低的闪存层长期保留[2]。 2026 年，英伟达推出 CMX 上下文内存存储平台，在 Vera Rubin 基础设施中增加一个面向 KV Cache 优化、通过以太网连接的闪存层级，由 BlueField-4 负责 NVMe SSD 管理、数据保护和网络传输。英伟达将其定义为介于 GPU 内存与共享存储之间的 pod 级上下文层[3]。产业信号已经很明确：SSD 正在成为推理系统需要直接调度的资源，而不再只是模型加载前后的外围设备。 问题是，推理系统开始调用 SSD，并不等于传统 SSD 已经适合承担常驻推理任务。 传统 SSD 面向文件和块数据存储设计，性能指标主要围绕顺序带宽、随机 IOPS、数据可靠性与单位容量成本展开；LLM 推理需要的却是具有严格时序约束的数据供应。KV Cache 会在prefill 阶段集中生成并持续写入，在后续请求中按会话、模型层和 Token 位置反复读取；MoE 推理则需要根据路由结果，在每一层计算前及时取得特定专家权重。一次读取未能赶上计算窗口，就可能让 GPU、NPU 或 CPU 进入等待状态，而 SSD 在高队列深度下取得的峰值 IOPS，并不等同于低队列深度、细粒度访问时的稳定延迟。 这种矛盾还延伸至 SSD 内部。NAND Flash 以页为单位读取、以块为单位擦除，FTL 需要执行地址映射、垃圾回收和磨损均衡，容易产生写放大与尾延迟；持续写入 KV Cache 还会对闪存寿命提出远高于普通消费负载的要求。 传统 LBA 排布并不了解模型层、MoE 专家、KV 块及其访问顺序之间的语义关系，相互关联的数据可能被分散到不同物理位置，难以形成可预测的并行读取。文件系统、块设备和 NVMe 软件栈中的排队、中断、数据复制与页缓存，也会增加端到端延迟。如果缺少面向模型执行顺序的地址布局、缓存划分、优先级调度、异步预取和寿命管理，SSD 虽然拥有 TB 级容量，却仍难以像 DRAM 或 VRAM 一样稳定参与每一个 Token 的生成。 AI SSD 分成两条路线：强化 I/O，还是直接参与推理调度？ 于是，市场上出现了多种被称为“AI SSD”的产品。但到目前为止，“AI SSD”仍没有统一的技术定义，主流方案大致可以分为两类。 第一类可以称为“AI 负载强化型企业级 SSD”，如图 1 所示。这类产品仍以块存储设备为基本形态，但其设计指标开始围绕 AI 集群的数据路径重新排序。英韧科技的洞庭 N3X 系列是这一方向的代表之一。 图1：AI 负载强化型企业级 SSD 的代表性产品：英韧科技洞庭 N3X 与华为 OceanDisk LC 560。 该系列针对训练、微调和推理中的高频缓存数据访问，采用 XL-Flash、SLC NAND 等低时延、高耐久介质，重点服务 KV Cache 卸载和高并发临时数据读写。据公开材料披露，与传统 TLC SSD 相比，相关方案的访问时延可降低至约三分之一，写入吞吐量提高至约三倍，DWPD 则提高约 17-33 倍；其价值不只是提高峰值性能，更在于减少持续写入、垃圾回收和高队列深度下的性能波动。英韧还规划向 PCIe 6.0 以及 NVMe/CXL 双协议产品演进，并提出从千万级 IOPS 继续向更高随机访问能力发展的路线，希望使 SSD 能够承接更多原本驻留在高成本内存中的热数据[4]。 华为 OceanDisk 则采用系列化产品组合覆盖不同 AI 负载。OceanDisk EX 560 强调极高随机写入性能、微秒级写入时延和高写入耐久性，主要面向模型微调、检查点保存及高频缓存写入；SP 560 在性能、耐久性和成本之间进行平衡，针对 AI 一体机和集群推理中的 KV Cache、长上下文及多并发访问；LC 560 则将重点放在容量密度和顺序读取带宽上，单盘容量最高达到 245TB，用于承载训练语料、多模态数据、向量库和大规模模型文件。华为还通过 DiskBooster 等驱动软件推动 SSD 与 HBM、DDR 形成分层协同，使高性能企业级 SSD 进一步进入内存扩展和缓存卸载路径[5]。 这说明 AI 负载强化型企业级 SSD 并非单一规格，而是正在分化为极致性能盘、高性价比推理盘和超大容量盘等不同产品线。 第二类 AI SSD 更进一步，试图改变 SSD 在计算机中的运行逻辑：通过主控、固件、中间件以及 OS 或主板层协同，建立近似于“NAND Flash 与 DRAM/VRAM 联合虚拟化”的多级存储体系，使部分模型权重、MoE 专家和 KV Cache 在推理运行期间驻留于 SSD，并按照计算进度动态换入内存。它兼容传统 SSD 的数据存储功能，同时增加面向 LLM 的数据感知、调度和预取能力，因此既可以形成企业级产品，也可以进入 AI PC、工作站和边缘计算设备。 在这一类别中，群联（Phison）和江波龙目前主要从存储侧展开探索，如图2 所示。两家厂商都试图把 NAND 从模型文件的静态存放位置，转变为 DRAM 或 VRAM 之外的高容量运行时数据层，但在产品组织方式、软件入口和目标市场上形成了不同侧重。 图 2：存储侧推理参与型 AI SSD 探索：群联 aiDAPTIV 缓存 SSD、江波龙 SPU＋iSA 方案以及寅谱-联芸 AI SSD 方案。 群联的 aiDAPTIV 方案由 aiDAPTIVCache 专用缓存 SSD、内存管理中间件和配套工具链组成。其核心机制是将超过 VRAM 容量的模型权重切分为多个数据块，根据模型执行过程在 VRAM 与 SSD 之间进行流式传输：当前需要参与计算的权重优先保留在 VRAM 中，暂时不活跃的权重则下沉至 SSD，从而在不继续增加 GPU 数量的情况下扩展可加载模型的规模。对于推理场景，aiDAPTIV 还会保存原本可能被逐出的 KV Cache，并在后续上下文复用时从 SSD 回取，减少重新执行 Prefill 和重建缓存的开销。其专用缓存 SSD 强调低时延和高耐久