首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

西部数据 Tim Rausch:AI不是只有GPU,数据最终还要回到存储系统

2026-07-22 1 阅读 约10分钟阅读 李冬梅
分享:
字号:
在大模型产业的讨论中,GPU、HBM和高速互联通常占据舞台中央,机械硬盘则常被视为远离计算核心的“冷数据仓库”。但随着AI从模型训练走向大规模推理,这种判断正在变得过于简单。 7月19日,在2026世界人工智能大会期间举行的一场分论坛上,西部数据开发工程高级副总裁Tim Rausch 试图说明一个容易被忽略的事实:AI不仅是计算系统,也是一套不断制造、复制、迁移和回收数据的系统。模型规模越大、用户越多、生成内容越丰富,对存储容量和分层管理的要求反而越高。 这并不意味着HDD会取代SSD,更不意味着所有AI数据都应该回到机械硬盘。真正发生的变化是,HBM、DRAM、SSD和HDD之间的边界正在重新划分。AI基础设施竞争的下一阶段,不只是购买更多GPU,还包括如何把数据放在合适的介质上,并控制每TB数据在整个生命周期内的成本。 AI推理结束后,数据并没有消失 一个AI模型的生命周期通常从数据摄取开始。文本、图片、视频和其他训练资料首先被收集并保存,随后进入清洗、去重、偏差检查和标注等准备环节。训练开始后,数据从大容量存储迁移至SSD、内存和GPU附近,供计算集群高频读取。 但训练完成并不是数据生命周期的终点。进入推理阶段后,系统还会产生用户提示词、上下文缓存、生成结果、调用日志、追踪记录、安全审计、合规信息、遥测数据和水印记录。这些数据中的一部分只在内存中短暂停留,另一部分则需要长期保存。 Rausch 在演讲中演示了一个视频生成请求:让AI生成一段8秒、720p的短片。最终下载的视频大小只有3.97MB,但按照其展示的系统估算,生成过程中约有44GB数据经过GPU处理,涉及约40GB模型权重、4GB潜在张量以及解码后的原始帧。 更值得关注的是请求完成后的数据留存。按照这一案例的估算,平台保存的编码输出、中间结果、推理追踪、请求日志、合规记录、会话信息和元数据合计约509MB,约为最终下载文件的130倍。 这一比例显然不能直接外推到所有AI应用,不同平台对中间结果、日志和合规数据的保留策略差异很大。但它揭示了一个普遍现象:用户看到的生成结果,只是AI数据足迹的一小部分。 生成内容还会被继续复制。一段视频可能保存在生成平台、个人云盘、即时通信软件和社交网络中;平台还可能再次使用AI进行内容理解、审核、推荐、字幕生成或广告匹配。每一次上传、转发和处理,都可能形成新的副本、索引、向量和日志。 因此,AI带来的存储需求并不只来自训练集增长,也来自推理规模扩大和内容副本增多。GPU反复处理数据,而数据本身则不断沉淀下来。 四层存储栈取代“SSD加HDD”的简单划分 传统互联网应用通常在闪存和HDD之间进行权衡:高频访问的数据放在SSD上,访问频率较低的内容逐步迁移到HDD。AI系统延续了这一原则,但存储层级变得更多,数据迁移也更加频繁。 最靠近GPU的是HBM和DRAM,承担模型计算过程中的高速数据供给。其下一层是KV缓存,相当于模型在推理过程中的短期记忆,需要保存上下文和中间状态,目前主要由DRAM和SSD承载。 再往下是向量、嵌入、知识库和检索增强生成数据。这些数据既要求持久化,也需要较低延迟和较高随机读写性能,因此通常部署在SSD上。最底层则是训练数据、用户生成内容副本、日志、审计记录和归档数据,容量大、保存时间长,但并非始终需要高频访问,更适合放在HDD中。 这种分层并不是厂商人为划定的产品边界,而是由性能和经济性共同决定。没有大型AI系统会把所有数据长期保存在HBM或DRAM中,也不可能把需要高并发随机访问的数据全部放到HDD上。数据必须根据热度,从内存迁移到闪存,再进入容量层。 对大型云计算厂商而言,单位成本的微小差异会被数据规模迅速放大。 Rausch举例称,假设某种介质每GB只贵1美分,在1TB手机上只是约10美元差价;但当一家企业管理100EB数据时,同样的差价将接近10亿美元。 这也是AI存储不能只讨论单盘价格的原因。真正需要计算的是总体拥有成本,包括硬盘、服务器、机架、交换机、线缆、电力、制冷、机房空间和运维人员等长期支出。容量密度越低,企业需要部署的硬盘、服务器和机架就越多,外围成本也会随之增加。 Rausch援引的数据称,目前约80%的AI相关内容存储在HDD上,约20%位于SSD。这个比例并不意味着两种介质正在争夺同一块固定市场。随着训练数据、生成内容和日志持续增加,HDD和SSD更可能同步增长,只是承担不同任务。 百TB硬盘背后,不只是容量竞赛 为了应对数据规模上升,西部数据公布了一条同时推进能量辅助垂直磁记录和热辅助磁记录的路线。按照公司规划,40TB级ePMR和HAMR硬盘已经进入客户送样阶段,44TB HAMR样品计划于2026年晚些时候提供;两条路线预计在2028年前后达到60TB,长期则逐步转向HAMR,并以2029年实现100TB级硬盘为目标。 HAMR的核心思路,是利用微型激光瞬间加热记录介质,使磁性晶粒能够进一步缩小,从而提升单位面积内的数据密度。西部数据称,目前单张盘片可以实现约4TB容量,未来希望提升至7TB乃至10TB。同时,通过缩小激光头和其他组件,在一块硬盘中容纳更多盘片。按照其设想,14张7TB盘片可接近100TB,14张10TB盘片则可能达到140TB。 不过,容量增加也会带来新的问题。如果单盘容量翻倍,但读写性能没有同步提升,完成一次全盘扫描、数据重建或故障恢复所需的时间也会明显延长。在大规模存储集群中,这会直接影响系统可用性。 因此,西部数据同时展示了高带宽硬盘和双枢轴技术。前者通过多级执行器同时访问多条磁道,目前宣称可将随机读写吞吐量提升至传统HDD的1.7倍,顺序读写吞吐量提升至2倍,并规划向更多并发磁道扩展。后者则在一块硬盘中配置两套独立执行器,使IOPS和顺序I/O能力提升。 按照西部数据的路线,两种技术组合后,顺序I/O性能有望达到传统设计的4倍。高带宽硬盘已经进入客户验证,双枢轴产品预计在2027年至2028年初开始送样。 这些设计反映出容量型硬盘面临的真正挑战:未来的竞争不会只看“每块盘能装多少数据”,还要看单位容量对应的带宽、功耗和故障恢复效率。否则,更大的单盘容量可能只是把性能瓶颈集中到更少的设备中。 降低每TB成本,也意味着改变软件架构 除了等待更高容量硬盘,大型数据中心还可以通过SMR和可变容量提高现有设备的容量利用率。 SMR通过让相邻磁道像屋瓦一样部分重叠,在相同盘片面积上增加约20%的容量。但其代价是写入方式发生变化。传统CMR硬盘可以直接改写任意磁道,SMR则需要按照分区顺序写入。删除数据后,系统还要读取分区中的有效内容,将保留数据与新数据重新写回,完成垃圾回收。 这意味着SMR并不是简单替换硬盘即可获得20%容量。主机和存储软件必须理解分区状态、管理顺序写入,并根据业务负载安排垃圾回收。它更适合写入模式可预测、大文件占比较高,或者软件栈能够进行针对性改造的超大规模存储系统。 按照 Rausch 展示的简化模型,一个五年TCO为100万美元、容量为40PB的机架,每TB综合成本约为25美元。更换为SMR后,假设总成本上升到110万美元,而容量增至48PB,每TB成本将下降到约22.9美元,降幅约8.4%。 可
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱