牛津、NUS提出下一代世界模型方向：心智世界模型来了

想象这样一个场景：一个杯子被 A 放进柜子里，B 没有看到。 问：B 下一步会去哪里找杯子？ 如果世界模型只知道物理事实，预测错 B 的下一步决策：「杯子现在在柜子里，应该去柜子找。」（上） 但还同时理解人的心智的模型能正确预测：「B 不知道杯子被移动，因此认为杯子还在桌上，大概率会回到桌边寻找。」（下） 世界的下一状态，也由心智变量决定 这揭示了关键问题：只追踪物体、位置和运动的世界模型，可能得到 「物理上合理、但行为错误」 的预测。 近日， 牛津大学和新加坡国立大学的研究团队最新研究《Mental World Modeling》 提出了一种通用框架， 心智 世界建模（Mental World Modeling, MWM）。 这项工作将这些心智变量本身纳入世界状态（world state）之中，而不是将它们仅仅作为事后解释（post-hoc explanations）。 论文标题：Mental World Modeling 论文链接：https://arxiv.org/abs/2607.27201 项目主页：https://mental-world.github.io/ 开源代码：https://github.com/mental-world/Mentis 截至发稿前，MWM 已登顶 Hugging Face Daily Papers 日榜第一。 Hugging Face Paper: https://huggingface.co/papers/2607.27201 世界模型缺失的另一半 大多数现有的世界模型主要关注世界的 物理层面： 有哪些物体和智能体存在？ 它们在哪里？ 可见场景将如何演化？ 在这些模型中，人往往只是一个会移动、会执行动作的对象，其内心状态并没有真正进入世界模型。但真实世界中的人，并不是简单移动的物体。 对于 以人为中心的智能（human-centered intelligence）而言，这还远远不够。 为什么？因为人的行为决策并不是单纯由物体、空间结构和物理规律的外部环境决定的，而是由 外部环境与内部 心智 –社会变量的交互作用 共同产生的。 例如，一个服务机器人需要判断用户是否感到困惑、是否失去耐心，或者是否在以间接方式寻求帮助；一个医疗助手需要考虑患者的认知、风险感知、恐惧情绪以及信任程度；一个协作智能体则必须识别：某些行为虽然在物理上可行，但由于社会规范、角色关系或人际互动背景的影响，可能并不合适。 这些场景都要求智能系统能够持续追踪智能体的 心智 与社会状态，包括： 它们知道什么、相信什么、关注什么、想要什么、打算做什么、感受到什么， 以及认为哪些行为在社会规范上是被允许的。即使两个场景在物理上完全相同，只要其中人的 信念、目标、情绪、人际关系或社会责任 不同，就可能产生截然不同的行为。 一句话总结： 一个世界模型即使能够准确重建物理场景，仍然可能无法正确预测人的行为。 认知科学已经通过 心智 模型（mental models）、心智理论（Theory of Mind, ToM）、BDI 智能体模型（Belief–Desire–Intention agency）以及具身认知（embodied cognition）等理论研究了这些能力。 然而，当前大多数人工智能研究要么构建的是 缺乏 心智 状态的物理世界模型， 要么将心理 推理 简化为孤立的心智理论问答任务 （Theory-of-Mind question answering）。 这两种视角都不足以描述一个真正完整的世界 —— 因为世界的下一状态并非仅由物理因素决定，而是由物理状态与 心智 状态共同演化（jointly physical and mental）产生的。 如何将心智变量真正纳入世界模型的状态空间呢？ 这篇研究尝试提出 心智 世界建模的形式化框架，用于构建能够同时表征物理动态与 心智 动态 的世界模型。 心智 世界建模 的目标并不是模拟某个人私人的主观意识和经验，而是构建一个 外部的、近似的、与任务相关的世界模拟器（task-relevant world simulator）。 该模拟器的全局状态同时包含 物理变量（physical variables）和心智变量（mental variables）。 两个主体，三个运算模块，一个物理– 心智 耦合状态。心智世界模型作为一个全局模拟器，首先生成目标智能体能够看到和推断的信息，再让智能体基于这一认知采取行动。 首先， 心智 世界建模维护的是一个物理– 心智 耦合的世界状态（coupled physical–mental world state），即同时表征物理环境与智能体的潜在 心智 状态。 其次，一个目标智能体（target agent）只能观察到这个全局状态经过转换后的、部分的第一人称视角呈现（partial, first-person rendering）。对于每个目标智能体（target agent），MWM 生成针对该智能体的局部观测视角 —— 即这个人实际能够看到、听到、知道并推断出的信息； 随后，目标智能体基于这一观察结果采取行动，而世界模型则模拟该行动将如何同时改变： 物理世界中的客观场景； 心智 –社会世界中的状态配置（mental-social configuration）。 怎么验证 MWM 有效？ 为了使这一框架具备可验证性，该团队实现了一个模块化的参考系统 MENTIS， 一个无需训练且完全可观测的基准系统，它迫使基于大语言模型（LLM）的系统以 心智 世界模型 的方式进行推理。 MENTIS 流程。系统首先将输入场景转换为结构化的当前状态 生成目标伪智能体的观测 , 将每个候选选项解析为一个行为分支，并行模拟物理状态与 心智 状态的后续变化，最后评估不同未来结果并选择最终行为。 给定一个情境化场景、一个目标智能体以及一组候选行为，MENTIS 将决策预测过程分解为一系列明确的阶段：状态解析 → 目标观测生成 → 行为分解 → 物理– 心智 耦合状态转移模拟 → 分支级评估 → 最终决策。 首先，它将场景解析为具有类型结构的 物理– 心智 状态； 随后，从该状态中生成目标智能体所能获得的 局部观测； 接着，将每个候选行为分解为其对应的 物理层面影响与 心智 层面影响； 然后，对每一种可能的行为分支模拟其 物理– 心智 耦合的下一状态； 最后，从物理合理性、 心智 一致性以及社会规范性三个维度对每个分支进行评分，并通过确定性规则选择最终行为。 换言之，MENTIS 不再让模型直接从场景跳跃到行为预测，而是要求其显式建模： 世界当前处于什么状态、目标智能体如何感知世界、不同动作会如何改变物理与 心智 状态，以及哪种行为在物理和社会层面最合理。 MENTIS 无需训练， 因此其结果反映的是模型结构本身带来的推理能力，而不是依赖于拟合得到的参数。系统中的每一个阶段都会输出可被机器验证的中间产物，因此状态、观测以及模拟未来都可以被记录、与人工标注进行比较，或者直接替换为真实标注值进行分析。 MWM 真的有效吗，瓶颈是什么？ 研究者设计了一系列实验组，专门测试该框架可能失效的环节，实验结果呈现出一致的规律。 首先，显式的 心智 世界建