用世界模型给VLA当教练，原力灵机发布DW0.5，把RL搬进虚拟世界

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 用世界模型给VLA当教练，原力灵机发布DW0.5，把RL搬进虚拟世界 衡宇 2026-07-16 10:30:46 来源： 量子位 后训练中真机数据需求骤降60% 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 代码Agent这两年为何进步飞快，成为AI界的宗门大师兄？ 因为这玩意儿自己个儿就超！闭！环！的！ 代码Agent可以自动执行、自动验证、自动反馈。写了代码跑一下就知道对不对，奖励信号非常清晰明确。 这给后训练（Post-training）阶段的自反馈闭环提供了完美条件。 同样是AI界大热门， 具身智能目前就缺少这种“神助”。 它面对的物理世界比代码Agent面对的世界复杂多了，而且很难得到即刻验证。 它接收的信号不像代码那样有一个编译器就能判定，它们模糊、昂贵，而且每一次真机试错都意味着真金白银的人力和硬件损耗。 VLA （视觉-语言-动作模型）是具身智能中最早受到关注的技术路线。 但很快，大家发现这个技术存在物理理解缺失、泛化能力极弱、长时序与规划能力不足等等问题，做不到“一家独大”包打天下。 大家有点着急。 后来，世界模型又成了行业里的新宠儿。 但世界模型似乎也不是灵丹妙药（至少目前来看是这样的）…… 这也不行那也不行，具身智能，你到底要怎样啊？？ 这个时候，原力灵机相关负责人站出来表态： 我觉得特别愚蠢的一件事情是在「技术路线」上给自己贴标签。这件事情是特别蠢的。 应该以目标导向。 你要解决什么问题，挑选对应的方法去解决它，而不是说我是什么方法的、什么流派的，为此来证明只有我才是标新立异的。 他介绍，大约今年过年前，原力灵机意识到可将世界模型作为后训练的一部分。 一晃眼半年过去了。 这个月，原力灵机发布了旗下首款具身世界模型DW0.5，并将它接入世界模型驱动的具身智能后训练框架DFOL2.0。 “这套基模支持多模态输入，包括任务指令、图片和视频，还能选定机器人类型。我们可以凭借历史动作，预测后续视频状态。” 原力灵机联合创始人汪天才说。 他介绍道，DW0.5用上万小时真机、多视角数据完成联合预训练，仿真能力很强，能生成各类画面。 不光能做出机械臂正常作业的视频，就算参考错误动作，也能还原任务失败的场景，以此支撑DFOL2.0框架的在线强化学习训练。 DW0.5作为一个高保真仿真器，把强化学习搬进虚拟世界。 VLA先给出候选动作，DW0.5在虚拟环境中预演未来，判断成功、失败与偏离风险，再把可用反馈送回强化学习。 按其披露的数据，这套流程可让后训练中真机数据需求骤降60%，整体训练成本下降40%。 具身智能行业急需低成本反馈闭环 想了解DW0.5，咱们先来看清它解决了什么样的行业问题。 具身智能属于物理AI ，它的目标是让机器人在不同环境、不同物体和不同失败条件下持续变强。 可惜后训练飞轮一直跑不起来。 真机一次rollout需要占用机器人、场地和人工，一次动作失败可能直接让任务中断；人工反馈虽然更接近真实判断，但难以高频覆盖每个中间状态；仿真环境成本确实低很多，但现实中的接触、遮挡、反光、形变和不确定性又很难被完整复刻。 基于这个现实，原力灵机从技术侧提出了判断： VLA需要一个介于真机、人工反馈和传统仿真之间的训练环境。最好它足够便宜、能支持高频探索，还更接近真实操作过程。 然后新的办法就被脑暴出来了。 用真实Rollout数据校准世界模型，世界模型支持低成本大规模的环境与数据生产，新的policy再回到真实环境验证和收集数据。 DW0.5就承担了原力灵机VLA模型（DM0.5）后训练中的Learned Environment的角色。 DW0.5三大专家模块重构仿真逻辑，全方位提升泛化能力 DW0.5能预测动作执行后的未来状态，甚至生成失败轨迹，并对任务进度打分。 具体而言，DW0.5以Video Expert、Action Expert、Value Expert三大专家模块组成能力链路。Video Expert与Action Expert共同服务动作后果预演，Value Expert负责价值评估与反馈构造。 这三个设计的思路各有讲究。 设计一：Action是强先验，而不是软提示 在部分世界模型里，动作信息只是一个附带的条件输入。但DW0.5把动作当成结构性的强先验。 它必须知道“机械臂在往这个方向移动”，才能预测出物理上合理的后续画面。 DW0.5把action当作视频生成的一等条件，通过结构化的帧级对齐强制绑定。 在MoT（Mixture of Tokens）注意力中，动作序列与视频序列拼接，并用group-diagonal attention mask切断视频帧与非对应动作之间的信息通路。 从结构上，执行向左推和向右推的动作，从一开始就走向完全不同的计算路径。 讲道理，我们观察到近期学术界对这个技术趋势有范围不小的探讨，即主流VLA不做视频预测，只做observation到action的映射。 DW0.5这类用视频预测作为辅助监督的模型，理论上能学到更强的因果动态理解。 设计二：能模拟失败，才配得上叫“仿真器” 只有成功轨迹数据训练的模型容易形成过强的成功偏置，这样的系统无法识别错误动作，更谈不上为强化学习提供惩罚信号。 同时，失败轨迹数据的价值对后训练来说挺珍贵的。 因此DW0.5被明确要求能够生成“做砸了”的视觉轨迹，让Value Expert可以对比成功与失败的差异，给出有区分度的打分。 其数据策略围绕模拟失败设计，让模型既学习“应该怎么做”，也学习“做错了，世界会变成什么样”。 团队表示，DW0.5 有四类数据源 ： 具身公开数据与自采机器人数据（包含遮挡、接触、延迟等真机噪声） 互联网视频数据（补充开放世界动态） Egocentric第一视角人类活动数据（迁移真实物理交互后果） 真机与仿真rollout数据（覆盖偏离、卡住、恢复等中间状态） 设计三：Value Expert把未来变成可训练的反馈 这是DW0.5从“视频世界模型”走向“训练环境”的关键一步。 Video Expert模拟动作后果，Value Expert把后果转成可优化信号，两者结合，才构成完整的RL训练闭环。 DW0.5引入Value Expert是为了把生成的未来转化为更密集的价值信号。 具体讲，Value Expert它对当前状态、候选轨迹或整段rollout给出成功概率或任务价值评估，将稀疏的任务结果信号转化为可以在每一步使用的中间反馈。 在闭环系统中，Value Expert可以用于： 候选动作筛选： 对多个rollout打分，让VLA选择更可能成功的未来。 RL后训练的reward信号： 在世界模型环境中对VLA做策略优化，无需频繁占用真机。 部署时的在线监测： 发现当前状态偏离成功路径，及时触发重新规划或失败恢复。 数据显示，DW0.5的Value-Order Correlation达到95%以上。 三个设计服务同一个闭环，让DW0.5在VLA