代码造世界，扩散绘现实：AgentGarten让智能体在实时试炼场中边玩边进化

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 代码造世界，扩散绘现实：AgentGarten让智能体在实时试炼场中边玩边进化 思邈 2026-10-09 10:03:48 来源： 量子位 允中 发自 凹非寺 量子位 | 公众号QbitAI 推开一块挡板，通道就此封闭；搬来一段坡道，高墙便有了越过的可能。 每一次行动都会改变世界，而改变后的世界，又成为智能体下一次决策的起点。 当这样的世界可以由代码构建、由扩散模型实时绘出，AI便拥有了一座可以反复探索的「试炼场」：亲自行动，观察后果，验证猜想，再把经验带进下一轮。 这是MirroS团队最新发布的AgentGarten。它将可执行的代码环境与实时神经渲染器连接起来：代码定义物理规则，模型生成视觉反馈，以超过30 fps的吞吐，让智能体持续与世界交互。 在经典的捉迷藏实验中，变化很快发生了。躲藏者在第4轮学会搬动挡板搭建掩体，搜寻者在第10轮掌握借坡道翻墙。一次跳跃失败后，搜寻者还会主动推近坡道，调整位置，再次尝试。 推动这些策略演化的，是智能体自己写下的「实验手册」。 每轮结束，它们复盘尝试、记录发现、标注疑问；下一轮，再带着这些经验继续探索。 代码让世界可以运转，实时渲染让世界可以被看见，持续演练让经验不断积累。 AgentGarten将三者接成闭环，探索一个更大的问题： 当智能体拥有可以行动、试错并积累经验的世界，智能将如何在其中持续进化？ 全文Blog：https://mirros.ai/blog/worlds-for-evolving-agents 技术报告：https://mirros.ai/report/agent-garten.pdf 代码：https://github.com/MirroS-Lab/AgentGarten 项目主页：https://mirros-lab.github.io/agent-garten △图1｜对局中涌现的三组典型博弈策略。搬挡板封堵掩体、架坡道翻越高墙、首跳失误后主动调整重试。 智能体缺的，是一个能反复练手的世界 想让AI真正理解物理世界，光靠给它看海量视频是远远不够的。就像学游泳不能只看录像一样，智能体必须亲自“下场”，即采取行动，观察实际结果，再决定下一步。 这就需要一个具备物理因果确定性的环境，推开的箱子必须留在原地，封堵的通道必须不能通行，后续的一切动作都要被这些物理变化持续约束。 当前的两条主流技术路径各有局限： 传统的代码/游戏引擎环境 ，状态精准、规则透明，每一次物理碰撞都清清楚楚。 但短板在画面：程序化搭建的场景往往只有粗糙的几何白模和重复贴图。要想让成百上千个开放场景都拥有逼真的光影质感，所需的美术建模和工程投入是个天文数字。 以视频生成为核心的世界模型 （如各类视频大模型），固然能生成令人惊叹的高清画面，也能随动作生成后续帧。 但问题在于，物理信息完全隐式藏在神经网络的记忆中，无法提供一个可查询、可干预的明确状态。你想查看杯子里还剩多少水、想让机械臂拧紧螺丝、或者制定一套严格的任务裁判规则，在单纯的视频黑盒里寸步难行。 MirroS的解法表现为： 让两者各司其职，物理交给代码，光影交给神经模型。 代码推进世界，模型负责「看起来怎样」 在AgentGarten中，一次标准的交互闭环是这样运转的： 智能体给出动作指令；代码环境立即计算物理碰撞与状态更新，并从智能体的第一人称相机视角，导出一份轻量的“几何草图”（即空间深度或表面法线）； 随后，神经渲染器读取这份几何草图，结合此前的视觉记忆，瞬间渲染出拟真的下一帧画面递给智能体。 △图2｜代码环境与神经渲染器的闭环流转。智能体发出动作指令，代码世界更新状态并导出几何条件，神经渲染器实时生成下一次视觉观测。 这种分工带来了两大质的飞跃： 第一，物理规则永远“确定可控”。 场景布局、接触判定与游戏胜负均由代码裁决，不产生任何“幻觉物理”。 第二，搭建全新世界变得极快。 过去构建100个逼真仿真环境，需要专业美术团队建模、贴皮、打光，成本高到难以承受。而在AgentGarten中，只要能输出简单的三维深度和法线轮廓，任何极简的代码场景都能直接套用这套神经渲染器，瞬间获得写实的光影与材质。翼装飞行、机械臂操作、厨房烹饪、多车竞速，底层共用同一个视觉接口——虚拟环境的扩充成本，第一次从“美术劳动密集型”变成了“代码程序化扩展型”。 △图3｜跨任务的多样化物理世界。涵盖空间导航、物体操控、运镜重拍与多车交互等。左侧为代码导出的简易白模，右侧为渲染器实时生成的拟真视觉。 更关键的是，这套渲染器是 流式生成 的：动作走一步，画面画一段，智能体看清结果再做下一决策，交互真正像现实世界一样连贯流转。 重访捉迷藏：2500万局与4轮 世界搭好了，接下来要看的是智能体：在这样的世界里反复行动、复盘，它能不能自己越做越好？ 一个经典的参照是OpenAI 2019年的捉迷藏实验：躲藏者和搜寻者在放有挡板和坡道的场地里对抗，经过大规模自我博弈，相继学会了搭建掩体和借坡道翻墙。 MirroS团队在AgentGarten中重做了这个实验，采用一对一的设定：躲藏者先布置场景，然后轮到搜寻者进场。 对战规则清晰纯粹：躲藏者先布置场景封堵入口，随后搜寻者进场搜寻。智能体通过写Python代码控制移动与抓取，全凭眼前生成的画面决策，对空间坐标、对手位置一无所知。 双方从完全空白的手册起步，各自维护由单篇技能组成的策略库。每轮对战十局，战罢复盘沉淀，下一轮随机抽选部分技能库应用。 很快，那些经典的博弈策略在数轮内相继涌现：挪挡板封门、搬斜坡搭桥、翻墙受挫后拉近斜坡重试。 2019年的研究因涌现出这些经典行为而闻名，也提供了一个直观的对照（见图4）：在那项研究中，AI依靠从零开始的强化学习，摸索出掩体搭建，经历了约2500万局；学会借坡道翻墙，经历了约1亿局。 而在AgentGarten中，智能体面对第一人称视觉画面，在轮次之间复盘并修订文字手册，躲藏者在第4轮学会了搭掩体，搜寻者在第10轮掌握了借坡道翻墙。 △图4｜代表性策略出现前所经历的对局规模对比。自我博弈RL在特权物理状态上从零训练数千万至上亿局；MirroS智能体依据第一人称渲染画面行动，通过逐轮反思手册在数轮内迅速掌握相应策略。 边玩边记，把经验写下来 Hide-and-seek里的快速进步，靠的是一套通用的演练流程。 MirroS的做法是： 让智能体自己“动手记笔记” 。它学到的一切认知，都写进一本本手册里。 演练被划分为严谨的四个递进环节： 领受任务 ：拿到一份任务文件，明确行动目标与规则红线，但没有任何标准答案。 盲盒试错 ：在严格的步数与时间限制下自主行动。只有相机画面，没有上帝坐标，没有小地图，未到终局也看不到得分。 撰写手册 ：一轮结束后自我复盘，老老实实记录：自己试了什么、看到什么现象、哪些判断存疑、下次该验证什么新假设。 封存传代 ：手册归档冻结，直接作为先验遗产交给下一轮智能体。 △图5｜单轮演练闭环：读任务、行动、