智源悟界·RoboBrain Orca：多模态表征世界模型

新智元报道 【新智元导读】 AI已经会生成答案，却未必理解世界。智源Orca尝试让模型学习真实世界状态变化，从「预测下一个词」走向「预测下一状态」，探索通用智能新路径。 今天的AI，已经拥有了很多令人惊讶的能力：它可以回答问题、生成图像，也可以接入机器人系统完成操作任务。 但如果把这些能力拆开来看，会发现它们往往仍然围绕着某一种具体输出展开： 语言模型预测下一个词，视频模型预测下一帧，机器人模型预测下一步动作。 这些能力很强，但它们共同留下了一个更底层的问题： 模型到底是在完成任务，还是已经理解了世界状态本身如何变化？ 当一个杯子被推倒，水会不会洒出来？ 当机器人第一次抓取失败，物体是否还在原处？ 当一段做饭视频从洗菜进入切菜，模型是否知道这不是简单的画面变化，而是一个事件状态的推进？ 当一个动作发生之后，环境、物体关系和任务进度会发生什么改变？ 智源研究院悟界·RoboBrain Orca Team发布的技术报告 《 Orca: The World is in Your Mind 》 ，正是围绕这个问题展开。 Orca并不是一个更会聊天的大模型，也不是一个单纯追求画面真实感的视频生成模型，更不是一个直接模仿动作轨迹的机器人策略模型。 它想探索的是一条更基础的路线： 先让模型学习世界表征，再从这个表征中读出理解、预测和行动能力。 项目主页： https://orca-wm.github.io 技术报告： https://arxiv.org/abs/2606.30534 悟界·RoboBrain Orca发布后，也在海外研究社区引发了一些关于「世界模型」和「多模态表征」的讨论。 相比于只关注单一模态的生成效果，不少评论更关注Orca背后的核心思路： 文本、图像、视频和动作，并不是彼此孤立的数据形式，而是同一个真实世界在不同模态下的投影。 也有评论认为， Orca更接近早期通用世界模型的形态，即先学习世界如何变化，再将这种世界表征读出到理解、预测和行动任务中 。 Orca在海外研究社区引发讨论：从多模态表征、世界状态建模，到早期通用世界模型的可能形态。 与此同时，Orca也登上了Hugging Face Daily Papers月度榜单，并在Hugging Face、X等社区获得持续关注。 这些反馈从侧面说明，世界模型的价值正在从「单一模态生成得像不像」，进一步走向「是否真正学到了可迁移、可读出、可用于行动的世界表征」。 HF论文月榜排名第一 从Next X Prediction 到Next State Prediction 过去几年，AI的很多进展都可以被概括为某种形式的「预测下一个X」。 语言模型预测下一个token，于是获得了写作、问答、代码和推理能力； 视频生成模型预测下一帧，于是可以生成越来越连贯、逼真的视频； 具身模型预测下一步动作，于是机器人开始能够完成抓取、放置、整理等任务。 但Orca Team认为，如果智能系统最终要走向真实世界，只预测某个外部输出是不够的。 因为语言、图像、动作都只是世界的不同表现形式，真正关键的，是模型能否在内部形成一个关于世界状态的统一表示。 Orca所探索的 Next State Prediction ，可以理解为：模型不只是学习「下一句话怎么说」、「下一帧长什么样」、「下一步怎么动」，而是先学习当前世界处于什么状态，以及这个状态在自然演化、事件条件或任务意图下，会如何转移到另一个状态。 这个状态不一定直接等同于一张图、一句话或一个动作序列。它更像是模型内部的「世界压缩表示」。 在这个表示之上，文本、图像和动作可以被看作不同的读出接口：需要解释时，读成语言；需要预测未来画面时，读成图像；需要控制机器人时，再接入动作模块。 先利用多模态世界信号学习世界表征，再做好一切任务 这也是Orca的核心理念： The World is in Your Mind. 世界并不是散落在各个模态接口里的碎片，而可以被模型内化成一个统一的潜在表征空间。 悟界·RoboBrain Orca想先教会模型什么？ 如果把机器人比作一个正在学习的孩子，那么现在业内的很多技术路线更像是让它一开始就进入具体工位，反复练习某个动作，直到学会完成某个任务。 Orca选择了另一种顺序： 先不急着教它「怎么干活」，而是先让它接受一套关于世界变化的基础教育 。 它需要知道，物体会下落，水会流动，遮挡不代表消失，接触会改变物体位置，事件之间存在先后关系，任务会随着环境状态不断推进。 只有当模型对这些变化有了基本理解，再用少量动作数据连接到机器人，本体和任务的训练成本才有可能被降低，机器人的泛化能力也会提高。 Orca通过两种学习模式，三类训练信号学习世界表征和状态演变 在Orca中，这套「世界教育」主要由两种学习模式：无意识学习和有意识学习，包含三类信号共同完成。 第一类信号，是来自连续视频的自然观察（无意识学习稠密的、自然的状态转移）。 模型通过大量真实世界视频，学习物体运动、场景演化、遮挡关系、接触变化和自然动态。 这类学习不依赖人工动作标签，也不要求模型一开始就知道任务目标，它更像是在客观地看世界如何自己变化。 第二类信号，是来自事件的语义组织（有意识学习稀疏的、有具体意义的状态转移）。 真实世界并不是一帧一帧孤立发生的。 人类会把复杂过程组织成事件：洗菜之后才会切菜，切菜之后才可能下锅；打开水龙头之后，水流会改变食材状态；手与物体接触之后，物体的位置和关系可能发生变化。 Orca通过事件标注，让模型学习在某个语义条件或事件条件下，世界状态如何发生有意义的转移。 第三类信号，是来自语言和问答的理解能力（有意识学习状态的推理与表达）。 语言并不是Orca的最终目标，而是模型理解世界的重要接口。VQA和语言监督帮助模型把视觉状态、事件结构和人类语义对齐，使模型不仅能看到变化，也能用语言理解变化背后的关系。 因此，Orca的训练并不是单一监督信号的堆叠，而是让模型同时「看见世界」、「理解事件」。 连续视频提供密集的自然变化，事件监督提供稀疏但有语义的状态转移，语言问答则保留模型与人类意图之间的接口。 12.5万小时视频、1.6亿事件 让世界表征可以继续Scaling 为了让模型真正从真实世界中学习状态变化，Orca Team构建了一套大规模世界学习数据体系，包括： 约12.5万小时视频数据； 约1.6亿条事件标注； 1150万条VQA数据。 这些数据覆盖第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移和通用视觉问答等多种来源。 换句话说，Orca并不是只在机器人轨迹、图像编辑任务或单一问答数据上训练，而是从更丰富的真实世界信号中学习统一的世界潜空间。 更重要的是，当前版本的Orca仅仅只是一次早期探索。 Orca团队在技术报告中展示了scaling结果： 随着预训练数据规模增加，0.8B和4B模型的训练损失持续下降；同时，从不同训练阶段取出的checkpoint也显示，下游读出性能会随预训练推进而同步提升。 这说明，Orca探索的不是一个只在小规模数据上有效的技巧，而是一条仍然具有扩展空间的世界学习路线。 如何证明学到的latent真的有用？ 世界表征听起来很有吸引力