具身智能体长程记忆：看见不等于记住，浙大提出具身记忆基准

新智元报道 设想一个 日常场景 ： 家庭机器人刚刚在茶几上看见一本书，去厨房完成几项任务后，接到取书的指令，却又开始挨个房间搜索。它已经试过一个打不开的抽屉，过了一会儿，还是回到同一个抽屉前反复尝试。 对人来说，「记得东西放在哪里」「知道它后来被挪走了」「记住哪些办法行不通」，都是日常生活中的基本能力。 但对具身智能体来说，把过去的观察、行动和反馈连起来，并在下一次任务中用上，仍然是一道难题。已有基准开始关注视觉历史、空间状态更新等问题，但对长期交互中的多种记忆需求，仍缺少统一的行动评测。 当 AI 走进持续变化的物理世界，它究竟需要怎样的记忆？又该如何判断，它是否真的记住了，并能据此行动？ 具身记忆需要连接视觉观察、行动与环境反馈，保留交互过程中的状态变化和因果关系。 为了回答这个问题，浙江大学OmniAI团队提出 EmbodiedMemory-Bench（EMem-Bench） ：通过四类任务、2,554条可执行的交互样本，系统评测智能体能否从历史中建立记忆，并用它完成后续任务。 该工作还提出外部记忆系统 Embodied-Memorizer（EMem） ，以及学习管理和使用记忆的 EMem-8B 模型。发布三周左右，该benchmark在Huggingface上下载量已经接近30,000次。 论文链接： https://arxiv.org/abs/2609.28236 项目主页： https://zju-omniai.github.io/Embodied-Omni/EmbodiedMemoryBench/ 代码链接： https://github.com/ZJU-OmniAI/Embodied-Omni/tree/main/embodied_memory 基准链接： https://huggingface.co/datasets/lzLiang/EmbodiedMemoryBench 具身任务的瓶颈是记忆 为了找出长程具身任务中的困难，研究团队首先分析了Gemini-3-Flash和Qwen3-VL-32B在EmbodiedBench的EB-ALF、EB-Hab上的 100条失败轨迹 。其中，四类与具身记忆相关的问题合计占到 91% ： 忽略细粒度视觉线索（35%） ：目标曾经出现在画面里，模型却没记住它的位置，后续只能反复搜索。 遗漏环境状态变化（18%） ：物体已经被移动或处理，模型仍然依据旧状态行动。 未记录交互反馈揭示的状态（31%） ：抓取是否成功、环境的隐藏状态，这些信息需要从行动结果中确认并记住。 未能迁移过去的经验（7%） ：之前的示范或纠正已经给出线索，换一个对象后，模型却仍然犯同样的错误。 图中比例来自对上述100条失败轨迹的分析，展示了视觉遗漏、状态跟踪、反馈记录和经验迁移方面的问题。 这些现象指向了具身记忆的特殊要求：有些信息只在某一帧中短暂出现；有些记忆需要随着环境变化被更新；有些状态必须通过交互才能发现；还有些经验需要从具体事件中归纳，再迁移到新的对象。 例如，「抽屉打不开」并不一定能从一张图像中判断出来，它需要一次尝试和相应反馈；「餐具应该放在这个抽屉」也不是物体位置的简单记录，而是多次纠正共同表达的规律。具身记忆需要保留这些信息的来源与联系，让后续行动有据可依。 EMem-Bench EMem-Bench的每条样本都提供一段按时间排列的多模态交互历史，再给出一个后续任务。 智能体需要从历史中找回关键证据，并在仿真环境中执行导航、打开容器、拿取和放置等动作，直到达到任务要求的终态。评测由此把「过去发生过什么」与「现在应该怎样行动」连接起来。 基准围绕四种记忆需求设置了四类任务： 1. 被动观察（Passive Observation） ：考察智能体能否保留执行其他任务时偶然看到的细粒度视觉信息，并在后续任务中找回相关物体的位置。目标可能混在多个物体中，观察时也尚不知道它之后会被需要。例如，笔记本电脑曾经出现在茶几上，过了一段时间，新的任务要求拿起电脑，智能体需要利用那次观察找到它。 2. 动态跟踪（Dynamic Tracking） ：考察智能体能否随物体位置或状态的变化，持续更新对环境的认识。历史中可能包含同一物体在不同时间的多条记录，模型需要判断当前有效的状态，避免依据过时信息行动。例如，一本书先在床上，后来被放进盒子，最后移到书桌上，智能体应依据最新的位置寻找它。 3. 交互失败（Interaction Failure） ：考察智能体能否记住行动结果揭示的环境状态与交互限制，并据此调整后续选择。锁住的抽屉、不可用的容器等信息需要通过尝试获得，反馈还必须与具体对象对应。例如，一次开抽屉失败揭示了「上层抽屉锁住了」，后续存放钥匙串时，智能体需要利用这条反馈，选择可以使用的下层抽屉。 4. 经验泛化（Experience Generalization） ：考察智能体能否从多个对象的纠正经历中归纳共同规律，并将其应用于历史中没有出现过的新对象。这要求模型理解过去的经验为何相关，以及适合迁移到哪些情境。例如，过去几次纠正都要求把刀、勺子收进抽屉，面对新出现的叉子，智能体需要迁移这户家庭的收纳习惯。 四类任务分别考察视觉细节保留、最新状态更新、交互反馈记忆，以及从过去的纠正中学习可复用经验。 研究团队先选择可导航、可交互的多房间环境，再围绕四类任务构造决定后续行动的记忆线索。AI2-THOR的单房间场景被组合成虚拟家庭，智能体离开并返回房间时，房间状态会被保留；ProcTHOR则直接提供多房间住宅。 随后，规划器在关键线索前后插入与目标无关的交互，拉开线索与后续任务的距离。这些干扰轨迹必须能够实际执行，同时不能触碰关键物体、泄露答案，或改变目标任务所依赖的状态。这样，历史变长了，完成任务所需的证据仍然能够被明确定位。 前三类任务的历史长度中位数为 78–83步 ，经验泛化任务达到 111步 ；各任务族的关键线索与目标任务之间，中位间隔仍有 52–56步 。被动观察任务的关键画面平均包含 11个可见物体 ，也对细节记忆提出了要求。 基准覆盖 1,118个场景、125种可见物体、83种目标物体和33种容器及承载物 。自动检查验证环境、轨迹、证据与可行解，人工审核则进一步检查指令是否清楚、历史是否合理、线索是否足以支持预期行动，以及任务终态是否判断正确，最终保留2,554条。 从多房间环境、任务相关记忆线索与干扰轨迹出发，经过自动验证和人工审核，形成可执行的评测样本。 Embodied-Memorizer 为了探索怎样改善这些问题，作者提出EMem，将具身经验组织成三种互补的记忆： 场景记忆（Scene Memory） ：保存选定的视觉画面、描述和其中识别到的物体，并与所在场景绑定，帮助区分「厨房的杯子」和「卧室的杯子」。相似画面会经过筛选，尽量保留新增物体和有用的视觉细节。 空间记忆（Spatial Memory） ：通过实体图维护物体的位置、关系和属性。书从床上移到书桌后，新的位置关系会替换冲突的旧关系，同时保留其他仍然有效的属性，形成最新已知的世界状态。 事件记忆（Event Memory） ：按时间记录行动、结果和纠正，保留「这个抽屉打不开」等交互证据。多