智能AI
morning
给世界模型装上「生成式显卡」!Code World Model 2.0实现30分钟一镜到底
2026-11-18
1 阅读
约10分钟阅读
机器之心
字号:
编辑|山辉 创造一个世界不难,难的是让这个世界「听话」。 不久前,Google DeepMind 发布了 Genie 4,展示了交互式世界模型的最新进展。用户可以通过键盘或鼠标控制角色探索世界,还能通过提示词改变环境,不少人看了直呼「游戏引擎已死」。 但真上手用了才知道,实际体验和预期还有一定的差距。 「听话」,意味着至少需要具备两种能力: 一是控制精度,用户发出的操作指令能够得到准确响应;二是时序一致性,世界在持续变化的同时,仍然能够保持物体的身份、外观和状态稳定。 简单来说,就是该变的变,不该变的不变。 当 AI 已经能够生成一个可探索的世界,如何既实现精准控制,又让这个世界在持续交互中保持稳定,成为世界模型面临的一项重要挑战。 近日, 蚂蚁集团,西湖大学和浙江大学 联合发布 Code World Model 2.0(CWM 2.0) 。其核心视觉引擎 Invoker-Render 能够接收结构化 Proxy,将场景布局、物体运动和镜头变化转化为连续的高保真画面。 GitHub:https://github.com/inclusionAI/CodeWorldModel hf地址:https://huggingface.co/inclusionAI/invoker-render-1.0 主页地址:https://www.inclusion-ai.org/CodeWorldModel/ 团队的一段赛车演示,充分展现了这种控制方式的优势。 输入端是低模赛车 Proxy,右下角还展示了真实的手柄操作。随着测试者拨动摇杆,Proxy 中的车辆改变方向,主画面中的白色赛车也随之同步转向。 更重要的是,团队还展示了一段 30 分钟的赛车演示,没有任何中途切镜或重置,展现了模型在长时间连续生成中保持画面稳定性和主体一致性的能力。 几根简单的线框究竟如何驱动一个逼真的世界?又如何让这个世界在连续半小时的生成中,始终保持物体外观和场景结构的一致性? CWM 2.0 给出的答案是 Invoker-Render 。 这套生成式渲染引擎既能理解从简单几何到精细骨架等不同粒度的 Proxy,实现对场景、物体和镜头的精准控制,也通过 ProForcing 训练方法提升长时流式生成的稳定性。 代码控制世界,生成模型负责画面 目前,一类主流的交互式世界模型采用端到端生成路线:用户输入操作,模型直接预测并生成后续画面,无需单独搭建复杂的世界程序。 但随着交互越来越复杂,模型需要同时承担两类任务:既要像物理引擎一样维护物体状态、运动轨迹和交互规则,又要像图形渲染器一样合成逼真的材质、纹理和光照。这种设计增加了精准控制和修改世界规则的难度。 另一种思路,是 将 世 界状态管理与视觉生成分开 。 在这种架构中,代码负责定义物体、运动规则和摄影机路径,并将这些信息转换为结构化 Proxy,交给生成模型完成视觉呈现。代码提供明确、可修改的控制条件,生成模型则负责补充材质、光影和局部细节,实现世界状态与视觉表现的分工。 早在 CWM 1.0 中,团队就尝试将世界状态管理交给代码,将视觉呈现交给生成模型。CWM 2.0 则在此基础上,进一步完善了生成式渲染环节。 在 MiniMax-H3 基座上,团队构建了两种互补的 Invoker-Render 模型,共享结构 Proxy、外观参考图和文本条件这一套输入接口。 一种是双向创作模型 ,能够读取完整的 Proxy 序列,利用前后文信息生成画面,适合离线视频创作和复杂运镜调整。比如,创作者可以预先规划一段完整的镜头运动,再让模型根据结构条件生成对应画面。 另一种是因果四步流式模型 ,它无法提前看到尚未发生的操作,只能逐块接收新的 Proxy,结合此前生成的画面,持续生成后续内容。这种方式更适合实时交互。 但要让这套分工真正发挥作用,下游渲染器还需要解决两个问题:理解不同精度的结构输入,并在连续生成中保持画面稳定。 从几根线框到精细骨架, 如何让世界模型实现精确控制? Proxy 是连接上游世界程序与下游生成模型的关键。它可以记录场景布局、物体位置、朝向、运动轨迹和摄影机变化,但不需要完整包含最终画面的材质、纹理和光照信息。 问题在于,不同交互场景需要的结构信息并不相同。 比如,在一个赛车场景中,如果只需要控制车辆沿着道路行驶,几个简单的三维框就可以描述汽车的位置和朝向。这样的 Proxy 构建成本低、传输也更加轻量。 但如果场景换成人物格斗,仅仅知道人物整体移动到哪里就不够了。模型还需要知道手臂、腿部和身体各个关节如何运动,才能准确还原出对应的动作。 如何让同一个模型同时理解粗略结构和精细约束? Invoker-Render 的解决方案,是 将不 同粒度 的结构控制能力统一到同一套模型中 。 五类 Proxy,一套统一的生成模型 具体来说,Invoker-Render 支持五类结构表示: 语义图(Semantic Map) 稀疏三维框(Sparse 3D Boxes) 主体掩码(Subject Mask) 带明暗的几何体(Shaded Geometry) 三维框与骨架(Boxes + Skeletons) Invoker-Render 支持的五类 Proxy 表示,以及同一场景下从粗略到精细的几何控制示例。 这除了支持 不 同类型的 Proxy ,Invoker-Render 还能够适应 同一种表示内部的不同几何精度 。 对于简单的人体结构,模型可以自行补全迈步、摆臂等局部动作;当输入更精细的骨架信息时,模型则能够遵循具体的关节姿态,实现更严格的动作控制。 为训练模型理解不同精度的结构输入,团队构建了约 200 小时的多粒度对齐数据,其中约 150 小时来自自采的三维交互和驾驶序列,其余约 50 小时来自 OmniWorld-Game、Magpie、CARLA、Virtual KITTI 2 等公开数据集。 团队通过场景重建和物体运动恢复,从同一场景中生成不同精度的 Proxy,并与对应的真实视频配对,让模型学习不同结构约束下的画面生成。 同一段事件,改变镜头就能改变画面 除了物体和动作,摄影机本身也是世界模型需要控制的重要部分。 在一组海岸隧道追逐的演示中,同一个场景和事件可以对应不同的摄影机运动路线。模型根据输入的 Proxy,分别生成不同视角下的连续画面。 同一场景下的不同摄影机路径示例,分别展示 Orbit 环绕拍摄与 Crane Up 升降拍摄,体现模型对摄影机运动的控制能力。 因此,Proxy 不仅能够描述场景和物体,还能明确规定主体运动与摄影机路径,为镜头、动作和场景布局提供更精确的控制。 连续生成 30 分钟, 为什么赛车没有中途变样? 如果说多粒度 Proxy 解决的是「如何控制」,那么 ProForcing 要解决的就是「如何持续生成」。 实时流式生成与普通视频生成有一个重要区别:模型无法提前看到完整的视频内容,而是需要不断接收新的输入,逐块生成后续画面。 每一块生成完成后,都会成为下一块的历史上下文。问题也随之出现:如果前面的画面已经产生了一些误差,后续生成可能继续继承这些问题。 例如,最开始生成的红色汽车可能只有轻微的颜色偏移,但随着模型不断读取自己生成的历史,颜
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱