别让AI一上来就“进厂打螺丝”：智源悟界·Orca要先教模型理解世界如何变化

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 别让AI一上来就“进厂打螺丝”：智源悟界·Orca要先教模型理解世界如何变化 思邈 2026-07-08 17:08:31 来源： 量子位 Hugging Face论文月榜第一 允中 发自 凹非寺 量子位 | 公众号 QbitAI 今天的AI已经很会 “输出” 了。 语言模型预测下一个token，于是可以回答问题、写文章、写代码。 图像和视频模型预测下一帧，于是可以生成越来越逼真的视觉内容。 具身模型预测下一步动作，于是机器人开始能够完成抓取、放置、整理等任务。 但这些能力背后，仍然有一个更底层的问题： 模型到底是在学会某一种输出，还是已经理解了世界状态本身如何变化？ 智源研究院悟界·RoboBrain Orca Team发布的技术报告Orca: The World is in Your Mind，想探索的正是这个问题。 项目主页：https://orca-wm.github.io 技术报告：https://arxiv.org/abs/2606.30534 悟界·RoboBrain Orca发布后，迅速获得了海外研究社区的关注。 多位研究者将其讨论重点，放在了“真正的多模态表征世界模型”上： Orca并不是把文本、图像、视频、动作简单拼接在一起，而是 尝试在统一的世界潜空间中，学习它们背后的共同状态与演化规律 。 也有评论认为， Orca更接近早期通用世界模型的形态，即先学习世界如何变化，再将这种世界表征读出到理解、预测和行动任务中。 △Orca在海外研究社区引发讨论：从多模态表征、世界状态建模，到早期通用世界模型的可能形态 与此同时，Orca也登上了Daily Papers月度榜单，并在Hugging Face、X等社区获得持续关注。 可以看到，世界模型正在成为下一阶段AI研究中被持续关注的重要方向。 △HF论文月榜排名第一 从Next token, Frame, Action Prediction到Next-State Prediction 悟界·RoboBrain Orca并非一个更会聊天的大模型，也不是一个单纯追求视觉真实感的视频生成模型，更不是一个只面向机器人的动作策略模型。 它想走的是一条更基础的路线： 先让模型学习统一的世界状态表征，再从这个表征中读出理解、预测和行动能力。 换句话说，Orca关注的是： 当前世界处于什么状态，以及这个状态在自然演化、事件条件或外部干预下，会如何转移到另一个状态。 这就是Orca Team所探索的Next-State Prediction。 “我们不会让一个3岁小孩进工厂，打10万小时螺丝。”这是Orca Team解释这项工作时，用过的一个比喻。 这句话不只是在说机器人，也是在说今天很多AI模型的共同处境：语言模型被训练去预测下一个词，视频模型被训练去生成下一帧，具身模型被训练去模仿下一步动作。 它们看起来任务不同，但底层逻辑很像——一上来就把模型放进某个具体工位，让它围绕某一种输出反复练习。 这条路当然有效，但问题是，一个还没有理解世界的模型，真的能只靠“打螺丝”，走向通用吗？ Orca团队的判断是： 顺序可能要反过来。别急着让模型学“下一步怎么动”，先让它上一堂关于世界的“义务教育”课。 先利用多模态世界信号学习好世界表征；再做好一切任务 这也是Orca的核心哲学： The World is in Your Mind. 悟界·RoboBrain Orca如何学习世界变化？ 人在不会讲话之前，就能通过看学习到客观的世界，例如风吹叶落；在成长中，人类还可以通过一句话、一本说明书感知并理解具体事件。 Orca将它们抽象为两类互补的学习方式： 无意识学习和有意识学习 。 第一类是无意识学习。 模型从连续视频中学习自然、稠密的状态变化，不依赖显式语言标注。 比如一个物体如何移动，手与物体如何接触，场景如何随时间演化。这类学习对应真实世界中大量连续观察，帮助模型捕捉自然动态。 △图片为AI生成 第二类是有意识学习。 模型引入语言和事件，让状态转移不只来自连续观察，也可以被语义条件约束。 语言可以描述一个事件、一个任务意图，或一个要达到的目标状态。模型需要在当前观察和语言条件之间建立联系，学习稀疏但更有意义的状态变化。 两类学习共同服务于同一个目标：构造一个能够表达世界状态、并支持状态转移建模的world latent。 12.5万小时视频、1.6亿事件助力模型学习世界 Orca Team构建了自动化筛选、标注管线，从海量的互联网数据中处理后，得到了 12.5万小时视频、1.6亿条事件标注和1150万条VQA的数据库存 。 这些数据共同构成了Orca学习状态转移的基础。 这些数据覆盖第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移和通用视觉问答等多种来源。 换句话说，Orca并不是只在机器人轨迹、图像编辑任务或单一问答数据上训练，而是 从更丰富的真实世界信号中学习统一的世界潜空间 。 基础设施优化：FlagScale带来4.4倍加速 智源团队基于自研的 FlagScale 框架进行了系统级重构： FSDP2升级 ：实现更灵活的参数与优化器状态分片，并对轻量级视觉块取消分片以减少调度开销； 分块交叉熵损失（Chunked Cross-Entropy Loss） ：避免在前向传播中一次性实例化完整的Logits张量，大幅降低显存峰值； 前向/后向预取（Forward/Backward Pre-fetching） ：让FSDP的All-Gather通信与当前层的计算充分重叠。 在H100集群上，这些优化将训练吞吐量从StarVLA基线的0.66提升至 2.91 Samples/Sec/GPU ，实现了 4.4倍 的显著加速。 One for All：一个world latent，统一承载理解、预测与行动 世界表征听起来很诱人。但真正重要的问题是：它能不能被验证？ Orca的实验设计，围绕两个问题展开： 第一，随着预训练数据增加，world latent会不会变强？ 第二，一个更强的world latent，能不能带来更好的下游能力？ 为了回答这两个问题，团队没有把Orca backbone和下游任务一起端到端训练到最强。 相反，他们在下游阶段冻结Orca backbone，只训练轻量的readout模块， 这样做很关键 。 如果整个系统一起训练，最后效果变好了，很难判断到底是Orca的world latent有用，还是后面的decoder或policy自己重新学会了任务。 但如果backbone保持冻结，只换不同的轻量读出接口，仍然能读出语言、图像和动作能力，就更能说明：真正提供信息的是Orca学到的世界表征。 因此，Orca设计了三类readout： 文本读出 ，用于验证模型能否把世界表征转成理解和推理能力。 图像读出 ，用于验证模型能否根据当前状态和条件，预测未来视觉状态。 动作读出 ，用于验证模型能