全球首个！银河通用新框架仅需人类视频即可部署，特斯拉蚌埠住了

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 全球首个！银河通用新框架仅需人类视频即可部署，特斯拉蚌埠住了 鹭羽 2026-07-16 18:51:10 来源： 量子位 还能让机器人边干边学 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 终于， 现学现用 的风也是吹到了具身智能。 要说这两年，大模型最重要的变化之一，就是越来越不依赖预训练一锤定音，部分能力开始留到推理时刻再兑现。 OpenAI o1如此，DeepSeek-R1也是如此。模型推理能力提升，靠的是在应用过程中的持续自我提升。 但机器人不一样，它面对的是比文本更复杂的物理世界，任意一次误判都有可能损坏抓取对象。想让机器人像大模型一样在部署时进化，行业内一直没有人做到。 直到今天， 这条路线第一次被银河通用走通了 。 视频链接：https://mp.weixin.qq.com/s/Lwo6w_HjR3cYM7ZxbZahXQ 刚刚，银河通用正式发布 全球首个 面向具身智能大模型的测试时后训练框架 WAM‑TTT （World-Action Model Test-Time Training）。 它 首次 将Test-Time Training（TTT）范式从NLP和大语言模型，迁移至物理世界的机器人控制。 说人话就是，机器人可以 「现学现上岗」 。 不过这里的学习，学的不是具体动作，不是要机器人看一遍视频就学会一个新技能，WAM‑TTT重在让机器人消化理解当前任务。 它会让机器人先通过人类示范视频充分了解场景信息，再把这些信息写入临时记忆，然后结合原先已有的动作能力完成任务。 这样既能适应新环境，也能保证原先能力不丢失， 实现部署后的连续学习 。 自此，具身智能得以开启属于自己的后训练时代。 全球首个具身测试时后训练框架 要知道，现阶段整个具身智能行业都受限于同一核心痛点。 一个机器人在训练场里学会了搬箱子，精度、成功率都拉满。可一旦换个环境或者换批箱子，它就立刻摆手不会。 同一项技能，训练时精通，部署时失灵，这就是学术界常说的 部署到真实场景中泛化性衰减 。 更麻烦的是，客户每换一个新的部署点位，都得重新采集数据、重新适配模型。整套流程下来又贵又慢，具身智能压根无法规模化落地。 WAM‑TTT要解决的就是这个问题。 根据官方介绍，它是一套 基于原始人类实拍视频 、 推理阶段完成适配训练 的TTT轻量化框架，低成本且泛化能力强，首次系统性破解了跨场景、高效、规模化部署这道行业难题。 它的能力可以用一句话概括： WAM‑TTT无需重新预训练，也无需大量机器人轨迹数据和人类动作标注，就能让机器人在部署阶段快速适应新场景、新任务。 听起来有些抽象，那我们不妨用一个 厨师 的例子类比。 如果我们把机器人想象成一个已经出师的厨师，从出厂那天起，它就拥有从预训练阶段学来的扎实的基本功。现在顾客走进后厨，希望厨师做一道没做过的菜，还给它看了教学视频。 通常一般的机器厨师会逐帧模仿学习，但WAM‑TTT不一样，它会先把顾客的要求写到一张便签上，然后调用自己已有的厨艺，再照着便签把菜做出来。 这张便签，就是WAM‑TTT的核心机制，一块独立的小型参数存储单元 fast-weight memory （快速权重记忆）。 具体来说，WAM‑TTT的底座是一个预训练好的 世界动作模型 （World Action Model，WAM）。 内部由视频专家和动作专家两部分组成，前者负责理解当前画面里发生了什么，后者负责生成对应的机器人动作。二者之间再通过联合注意力维系通信。 需要注意的是，在WAM-TTT整套流程中，WAM的主体权重全程保持冻结，不会随着学习过程更新，所有学习操作都只在前面提及的记忆模块中完成。 整个训练可分为两个阶段： Meta-Training（离线元训练）阶段： 这一步是机器人的出厂设置，团队借助成对采集的人类和机器人演示数据，通过Key-Value向量对自适应记忆，实现人类视觉线索与机器人行为的对齐。 相当于教会厨师怎么读懂顾客的便签，以后碰到新视频，就能自动理解付诸行动。 Test-Time（线上测试时训练）阶段： 这一步才是用户实操阶段，需要提供给机器人一段未标注的人类RGB视频，主WAM会完全锁死，仅更新轻量化记忆模块参数。 完成记忆更新后，WAM‑TTT就会将学习到的操作逻辑送入相机观测画面，模型再输出机械动作完成任务。 对比传统架构，WAM‑TTT的表现也是一骑绝尘，总体来看实现了 四点突破 ： 第一，大幅降低机器人轨迹数据依赖。 部署阶段可摆脱对昂贵人工遥操作数据的需要，比如 特斯拉Optimus 的训练数据就长期依赖现场数据采集。在加州弗里蒙特工厂上百人的数据采集团队中，每人每天要在长达8小时的轮班中重复数百次相同的动作，人力物力成本相当高。 而WAM‑TTT仅用未标注的人类视频即可完成后训练，成本降低的同时，完成度能够逼近甚至持平专业遥操作数据。 具体在专门的数据比例消融实验中，可以发现，当训练数据由100条机器人轨迹+100条人类视频组成时，任务平均成功率可达74.1%，已经与全部使用机器人轨迹训练的效果 基本相当 。 这意味着，在一定条件下，一段普通人视频几乎可以1:1替代一段昂贵的机器人遥操作数据，无疑降低了数据采集成本。 第二，无需人类动作标注。 很多Human-to-Robot学习方法，虽然也使用人类视频，但仍需要额外完成手部姿态估计等步骤，WAM‑TTT则是完全跳过，直接采用 自监督学习 ，让模型自行理解任务过程。 团队还专门在实验中搭了一条对照管线，验证加了人体姿态估计和动作重定向后，四个任务平均完成度只有28.9%，相比原始WAM-TTT掉了整整43.4个百分点，尤其是在Table Bussing任务上直接从100%掉至33.3%。 第三，不改模型不重新预训练。 为验证这一设计，实验分别与两种更直接的方案进行了对比。 第一组是 WAM-COTRAIN ，团队直接把人类演示数据混进联合训练，结果显示任务成功率只有29.8%，反而低于完全不用人类数据的基线，这也说明了人类视频并不能简单作为新增训练数据加入预训练流程。 另一个对照组是 WAM-LoRA ，使用的是更通用的参数高效微调方法，然而在Table Bussing和Swap Place两个任务上分别只拿到30%和0%，而WAM-TTT是100%和88.9%。 所以相比重新训练模型或直接修改模型参数，冻结基础模型、仅通过 快速权重 完成部署阶段适应，不仅成本更低，也能更充分发挥人类视频的价值。 第四，不发生灾难性遗忘。 这一点直接体现在跨环境评测上。 团队把WAM-TTT分别放在标准训练场景和未知的真实家庭环境中，保持率约75.6%。 作为对照，同样利用人类视频、但仅通过 In-Context Learning （ICL）提供上下文信息的，平均完成率则从48.4%骤降至7.1%，性能保持率仅14.7%。 进一步的细粒度测试中，研究团队分别改变光照条件和物体空间位置，WA