世界模型炒作了半年，反应速度还不如 VLA？穆尧团队和百度智能云给出最新解法

生成式世界模型能否真正用于机器人控制？这是物理 AI 领域备受争议的话题。 生成式模型的预测能力越强，模型参数往往越大，推理延迟也可能越高。而机器人控制恰恰需要极低延迟的闭环反馈。 “你不可能要求 WAM 在一个非常小的体量下达到很强的智能。但模型体量变大之后，自然很难做到实时推理，特别是 50Hz 以下的动作推理。”上海交通大学长聘教轨助理教授穆尧对 InfoQ 表示，“闭环频率过低，一方面会导致卡顿，另一方面在重复定位精度产生误差时，会进一步拉低任务成功率。” 有没有可能在不牺牲实时性的前提下，利用生成式模型的预测和理解能力？ 最近，上海交通大学 ScaleLab 团队、上海人工智能实验室联合百度智能云团队，发布世界动作模型 AHA-WAM，致力于解决世界模型用于机器人控制时的推理延迟和时空分辨率错配问题。 AHA-WAM 基于双 DiT 架构，将系统划分为两个步调不一致的组件：一个低频运行的世界规划器，负责建立长时界的潜空间计划并提供可复用的层级潜上下文；一个高频运行的动作专家，以极高的频率预测短程动作块，通过查询规划器提供的上下文来指导执行。 为了支持异步架构稳定运行，AHA-WAM 进一步引入了三项关键机制：观测引导的上下文路由（OVCR），用于根据最新视觉观测动态更新已缓存的视频上下文；视界自适应偏移训练（Horizon-Adaptive Offset Training），用于处理世界规划器和动作执行器之间的相位差；滚动 KV 内存（Rolling K/V Memory），用于保存跨刷新周期的历史信息。这些机制共同解决了异步之后可能出现的上下文过时、对齐偏差和历史信息丢失问题。 得益于架构创新，AHA-WAM 在任务成功率、推理速度上都取得了领先成绩。 内容来源： AHA-WAM: Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing 在没有机器人数据预训练的情况下，AHA-WAM 在 RoboTwin 2.0 的 50 个任务上达到 92.80% 平均成功率。在真实环境的 AgileX Piper 双臂平台上，AHA-WAM 经过 RoboCOIN 子集预训练和任务微调后，在叠毛巾、整理桌面、冲泡豆奶、收纳盘子四类任务上取得 78.33% 平均成功率，优于 Fast-WAM 的 68.33% 和 Motus 的 21.67%，接近 π0.5 的 76.67%。 值得注意的是 AHA-WAM 在推理延迟上的进步。这里的推理延迟，指系统在闭环控制中，从获取最新环境反馈到输出下一段动作指令所需的端到端耗时。 内容来源： AHA-WAM: Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing 标准版 AHA-WAM 的推理延迟为 41.37ms，对应控制频率为 24.17Hz。经过 ODE 蒸馏后的 AHA-WAM-Flash，推理延迟进一步降至 17.56ms，对应控制频率为 56.95Hz。 此前，Fast-WAM 的工作已经证明，经过架构优化的世界动作模型可以接近 VLA 的推理延迟水平。Fast-WAM 论文显示，其推理延迟约为 190ms。 内容来源： Fast-WAM: Do World Action Models Need Test-time Future Imagination? AHA-WAM 将 WAM 的推理延迟从百毫秒级压低到几十毫秒级。这表明，至少在实验室环境下，在保留视频生成模型预测规划能力的前提下，WAM 并不必然比 VLA 更慢，甚至可以实现更低的动作更新延迟。 架构优化之外， AI Infra 工程能力和算力网络的支撑同样重要。AHA-WAM 从训练到部署推理，全程依托百度百舸 AI 计算平台完成。尤其是在推理阶段，百度百舸团队针对动作生成链路进行了系统工程优化，使单步动作推理延迟从 415ms 压缩至约 41ms。这一提速也带来了实打实的收益，响应更快意味着机器人能更及时地根据最新画面修正动作，对折叠毛巾、精细工具操作这类任务的成功率提升尤为明显。 这也是 AHA-WAM 值得进一步关注的原因。 2025 年下半年，InfoQ 在与多家具身智能公司探讨世界模型的应用时，得到的普遍反馈是世界模型可以用于仿真、推理和规划，但很难直接用于控制。原因在于成本太高，推理太慢，难以满足真实机器人对低延迟闭环反馈的要求。 进入 2026 年上半年，随着 LingBot-VA、Fast-WAM 等面向动作控制优化的世界模型陆续出现，这一判断开始松动。尽管世界模型用于真实机器人控制仍处在早期阶段，许多机器人公司已经开始在内部复现前沿研究，以便在路线出现突破时迅速跟上。 对于仍在观望生成式世界模型能否真正用于机器人控制的从业者来说，AHA-WAM 的进展无疑提供了更乐观的信号。 接下来，我们将基于 AHA-WAM 论文以及 InfoQ 对穆尧团队的访谈，拆解它的基本原理。 异步架构，解耦世界规划与动作执行 世界动作模型，起源于对 VLA 路线的质疑：如果机器人只是从当前观测直接映射到动作，它是否真的理解了物理世界？ VLA 模型已成功将大规模视觉语言模型迁移到了机器人领域，但它们多将当前观测直接映射到动作序列，很难捕捉到复杂的物理交互规律。为了实现更通用的操控能力，模型必须具备“想象”未来的能力，例如物体会如何随动作变化、接触关系会如何演化、执行误差会如何影响下一步控制。 相比之下，WAM 的价值在于它实现了动作推断与视觉动力学建模的深度耦合。它让模型在学习策略的同时，也学习环境如何随动作演化，从而将原本稀疏的动作监督转化为稠密的物理常识先验。 今年上半年，LingBot-VA、Fast-WAM 等工作已经将 WAM 推向了更适合动作控制的形态。他们普遍采用用更重的视频分支建模高维视觉动态，用更轻的动作专家建模低维动作分布。这个非对称设计的前提是，动作分布通常比视频分布简单，不一定需要和视频生成同等规模的模型来承担。 AHA-WAM 继承了这一非对称结构。它的视频分支使用大规模预训练视频模型 Wan2.2-5B 初始化，用来引入互联网视频中学到的视觉规律和物理先验；动作分支则采用紧凑的 DiT 架构，以降低动作生成的推理延迟。 但在穆尧团队看来，只区分重视频基座和轻动作专家还不够。现有 WAM 更深层的问题，是视频预测和动作执行在时间上的绑定。 许多 WAM 会把世界预测和动作生成放在同一个短时控制节奏中。结果是，视频分支必须频繁运行，反复建模相邻帧之间细小、连续、但对控制增益有限的变化。模型参数越大，预测能力可能越强，但每一步控制都被视频分支拖慢，最终会影响闭环频率。 如何解决模型参数规模和控制频率之间的矛盾？ “异步拆分这个方案，实际上是我们分析下来认为最直接的技术方案。”穆尧在接受 InfoQ 采访时表示，“action 的生成要求尽可能实时；但未来推演这一块，由于模型体量大，自然会带来比较大的推理代价。