Agent要数量也要脑子！浪潮信息一边单柜养4万Agent，一边让大模型组队答题

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> Agent要数量也要脑子！浪潮信息一边单柜养4万Agent，一边让大模型组队答题 克雷西 2026-07-13 19:59:57 来源： 量子位 同时发布CPU原生液冷整机柜、多模融合超节点 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI AI基础设施的核心任务，已经从支撑大模型推理，转向支撑海量智能体的规模化运行与高质量Token的持续生产。 据IDC数据，2025年中国AI Agent企业级市场规模约190亿元，预计2025至2028年复合增长率超过110%。Gartner的判断更直接，2026年将有40%的企业应用集成任务型AI Agent。 大模型推理阶段，AI基础设施只需要支撑一次输入一次输出。 进入Agent阶段，基础设施要支撑的是任务拆解、工具调用、多轮协作和持续运行，这对算力提出了完全不同的要求。 这背后其实是两个方向的能力缺口，一个是海量Agent能不能规模化、稳定地运行起来，另一个是多个模型能不能协同工作，让Agent变得更聪明。 浪潮信息在2026开放计算大会上，针对这两个缺口分别给出了新的产品方案。 Agent对基础设施提出新要求 Agent时代，人们对AI基础设施也有了新的要求。 过去企业部署AI，大多是接入一两个模型，处理相对独立的任务，调用一次、返回一次，事情就结束了。 Agent不是这样。 一个Agent应用要先把任务拆开，再一步步调用工具、来回协作，背后同时运转的可能是一整群Sub-Agent。 部署到企业之后，Agent的数量更是可能高达成千上万。 怎么让这么大规模的Agent群体稳定协同地跑起来，就成了一个绕不开的新问题。 除了Agent数量在增多，单一模型这边的压力也在增加。 有的模型擅长逻辑推理，有的擅长写文本，这种能力上的偏科没法靠堆参数量解决。 但实际任务又变得越来越复杂，很难指望一个模型什么都会。 所以，怎么让多个模型分工协作、互相补台，成了另一个必须解决的问题。 这两件事要真正落地，都必须有底层算力基础设施打头阵。 新需求来临之后，基础设施的第一个变化，就是CPU变得更重要，戏份也更多了。 以前的问答模式下，大模型推理是一次输入一次输出，更多依靠GPU运行。 但Agent不一样，它要做任务拆解、调用工具、多轮协作、汇总结果，这些整型运算和逻辑推理，运行在CPU之上。 而且Agent不是跑一次就“下班”，很多Agent必须常年在线，运行时间被大幅拉长。 所以在AI Infra行业里，算力配比也在发生变化，从过去以GPU为中心，走向多元算力系统协同。 CPU的重要性上来之后，紧接着要面对的是功率密度问题。 浪潮信息副总经理赵帅介绍，国内的AI机柜功率今年内就要冲到300千瓦，全球部分机柜已经进入兆瓦级。 如果CPU侧还停留在单柜几千瓦的密度，根本没法匹配数据中心全新的电力基础设施。 随着机柜功率不断攀升，散热就成了问题，传统风冷单机柜散热40到50千瓦的上限早就撑不住了，液冷方案成了必选项。 单柜运行4万+Agent 为了实现Agent的规模化运行，浪潮信息发布了业界首款CPU原生液冷整机柜服务器。 这台服务器单柜最大可支持384颗基于开放OCM（开放计算模组）架构的CPU处理器，兼容x86和ARM，可以支撑4万+个Agent协同运行。 △ 浪潮信息副总经理 赵帅 这个规模是浪潮信息今年4月发布的“企千虾”方案的40倍。 企千虾当时是用单台2U服务器部署1000个OpenClaw，这一次，浪潮信息直接把Agent塞满了一整个机柜。 而且该机柜采用的OCM架构。能够兼容不同代际、不同架构的处理器，不用为每一代新芯片重新设计整套系统，研发周期因此被大幅压缩。 要在一个机柜里塞进384颗CPU，散热是绕不开的坎。 浪潮信息提出了一种全新的散热理念：原生液冷。 这一想法完全颠覆传统风液混合的散热逻辑，以前的冷板液冷服务器设计是给计算部件贴散热冷板，其他内存、网卡、硬盘还是要再研究怎么通过风扇把产生的热量散出去。 这一次思路完全颠覆，计算和散热协同设计，突破传统液冷仅覆盖CPU的局限，对内存、网卡、光模块、SSD等所有发热部件一并纳入液冷散热体系，重构整个算力系统。 浪潮信息的具体做法是把算力单元做成2U超薄形态，一个节点塞进16颗CPU，同时把内存、网卡、光模块这些原本靠风扇和线缆维持散热与连接的部件，直接平铺在主板上，用一整块冷板统一承接散热，连服务器托架也省了。 这样，原来被风扇、冷管、线缆占用的空间，都被腾出来留给计算和IO资源，整机柜也因此做到了无线缆设计，支持热维护，保障业务零中断，整机柜运维效率提升100%以上。 多个大模型，协同完成一次任务 为了让Agent变得更聪明，浪潮信息还在元脑企智EPAI平台上线了多模融合API，并同步发布了元脑SD200超节点AI服务器企业版。 多模融合做的事情，是把同一个任务同时甩给多个候选模型，让它们各自独立生成答案，再由一个评审融合模型出面，比较这些答案里的共识、分歧、遗漏和独特观点，最终拼出一个统一的输出。 这套流程也不是所有任务都要走一遍，简单问答、工具调用、格式转换这类短任务，系统会直接路由给更轻量的单模型处理。 只有复杂的长链路任务，系统才会调度多个候选模型协同处理，避免小题大做。 这套机制在DRACO测试里取得了53.9%的成绩，高于同一测试候选池里任何一个单模型的表现。 目前这项能力可以多模融合API的形式对外开放，既可以像普通模型服务一样直接接入应用，也可以配置到智能体和开发框架里，沿用原有的对话、推理和工具调用流程。 不过问题也随之而来，多个大模型同时参与一次任务，无疑对底层算力提出了更高的要求，既要一次装得下多个万亿参数模型，又不能牺牲输出速度。 这正是元脑SD200超节点要扛住的部分。 元脑SD200超节点去年发布时，已经能同时部署4个万亿参数大模型，token生成时间做到8.9毫秒，是国内首个突破10毫秒大关的产品。 今年，这个数字进一步压到4.77毫秒，是国内首个跑进5毫秒的方案，首Token延迟也降低了35%。 这些提升背后是多Token预测、W4A8精度方案和JIT即时编译这类软硬协同优化在起作用。 多Token预测让解码阶段一次生成多个候选token再校验，减少了逐字生成的轮次； W4A8把万亿参数模型里MoE模块的计算精度从BF16降到INT8，降低了访存带宽压力； JIT则会在运行时根据张量形状动态生成专用的GPU内核，让算力更贴近硬件的特性。 目前，元脑SD200超节点已经完成了对Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3等主流开源模型的适配。 不过，这套架构的门槛，对不少中小企业来说依然偏高。 因此，浪潮信息还推出了元脑SD200超节点企业版，可以理解成是小号的元脑SD200。 它把Scale Up计算域从64卡减少到16卡，万亿参数模型的首token延迟降低40%以上，给企业提供了更低迁移和适