视频生成不再反复抽卡！清华开源，给模型装上「三维空间大脑」

新智元报道 目前最强的视频生成大模型，例如seedance 2.5在根据用户意图生成视频的时候有一些明显的缺点。 以seedance 2.5创作两个指定角色对弈国际象棋作为例子，可以发现sota视频生成模型在细节的一致性上仍然有很多不足。 提示词：生成两个人面对面下国际象棋的写实视频，完整展示西班牙开局，并严格依次执行 e4 e5、Nf3 Nc6、Bb5 a6，直到后续的王车易位、棋子移动与对手回应。要求棋步合法，棋盘状态连续，不得出现多余棋子、错误落点或棋子凭空消失。 seedance 2.5准确的生成了对应的人物和正确的下棋动作，但随着视频的不断生成，棋子的位置逐渐混乱。 上一帧棋子还在原位，下一帧则换了格子，甚至多出一个额外的棋子。 人物、布景和光影都正确渲染，而棋局细节却是错的。这些细节上的不一致还有很多。 这类问题也是视频创作者熟悉的「抽卡」体验：创作者写清楚了人物该从哪里走到哪里、镜头该怎么调整，生成结果还是穿墙或跑偏。 运气好的时候一次就生成了需要的视频，运气不好就得反复生成整段视频，这不仅对于创作者而言消耗了非常多的时间精力，也是很大的计算资源开销。 对于涉及精确动作和空间关系的内容，用户的要求已经从画面是否漂亮逐渐升级到内容是否按计划发生以及视频的细节是否前后一致。 问题并不是模型不会画棋盘，而是它必须在连续镜头中记住每一枚棋子上一刻在哪里、这一步该移动到哪里、移动后其他棋子应保持什么状态。 与此同时视频生成模型还要同时生成人物的拿棋动作、镜头和光影。 这既要求模型具有精确的细节把控能力，又要求模型具有高质量的视频渲染能力，目前所有的视频生成模型几乎都没有能力同时做到这两件事。 来自 清华大学和宾夕法尼亚大学的团队 开源了一套提供给Agent的空间场景编辑工具OpenMise，生态定位是Agent链接空间场景的桥梁。 OpenMise通过把「困难的视频生成任务」拆分成「两个简单阶段」来实现细节一致性的把控。 项目地址：https://github.com/Rath-Team/OpenMise 首先OpenMise使用Agent调用Blender， 把场景、人物、动作、摄影机和灯光安排进同一个三维世界，生成便于修改的草稿； 然后创作者把草稿视频交给现有视频生成模型， 完成写实画面或特定风格的渲染。 简单的说就是把「直接生成视频 」 改进为「Builder + Render 」 两阶段生成。 OpenMise先用Coding Ag ent设计出精确的移动草稿再渲染细节 清华团队认为，问题的核心在于， 创作者同时对视频生成模型提出了过多的要求 ，团队的解决方案是将一个复杂任务分解成两个简单任务。 对于视频的一致性和物理规律的遵循，OpenMise团队认为通过Sota级别的Coding Agent （例如Deepseek V4.1 Flash）直接创作具体的动作就能够保证白模符合物理规律。 对于将白模渲染成一个真实的视频对于seedance 2.5这样的视频生成模型来说则是一个更加简单的任务，因为模型不再需要精确的维护前后一致的棋盘状态，只需要将Coding Agent编排出的精确的白模状态渲染成清晰真实的视频。 通过这种任务分解，OpenMise成功的让两个阶段的任务分别被最合适的AI工具接入。 继续沿用下国际象棋这个例子，面对同一段棋局要求，OpenMise会先在Blender中创建棋盘、棋子、人物及移动序列，让每一步棋有明确的起点、落点和时间。三维场景生成的白模视频能让创作者先检查棋局怎样推进。随后团队把这段白模视频、人物参考图和提示词一起交给Seedance 2.5生成写实版本。 以下是 OpenMise 做出的棋局白模草稿： 视频｜OpenMise 第一步生成的 国际象棋白模草稿(保证完全精确棋子轨迹) 再看以草稿为参考生成的写实棋局： 视频｜参考 OpenMise 草稿 生成的国际象棋对决画面 可以看到，OpenMise使用两阶段生成的视频的一致性得到了明显的提升。 如果使用seedance 2.5反复的生成同一段视频然后从中挑选符合物理规律约束的，可能需要反复生成几十次才能达到和OpenMise一样的效果，甚至永远没有办法达到OpenMise的效果。 这个例子充分说明了OpenMise很好的解决了一个使用AI进行视频创作的一个业界难题。 国际象棋是一个容易看懂的例子，在目前视频创作领域中，人物行走和室内运镜也是同一类问题。 创作者可能会提出 「从A到B」、「穿过这扇门」、「始终跟拍主角背影」 这样的需求，此时生成模型就需要维持稳定的空间状态，包括门在哪儿、人物有多宽、镜头能不能后退、下一秒谁该移动 ... 这一些问题都是直接使用视频生成模型做不到，而OpenMise能够大显身手的。 OpenMise的系统架构 OpenMise的核心思想是 将一个复杂的问题分解成两个简单的问题 。 创作一个细节一致的视频依靠Builder和Render两阶段实现。 Builder只负责设计清楚具体的物理规律和动作细节草稿，Render只负责将草稿渲染成真实的成片。 OpenMise两阶段 生成视频的系统 架构 符合物理规律的3d草稿 视频 | OpenMise控制Agent使用Blender并进行自动化创建资产、管理资产 Builder让 Agent 把自然语言剧本拆成可执行的三维制作计划。Skill规定何时校准场景、怎样安排跟拍或环绕、渲染后检查什么。 然后Tool负责导入资产、计算路径、创建骨骼动作与摄影机关键帧、配置灯光和启动渲染。 Agent经由Blender MCP调用这些工具，把人物、镜头和灯光放进同一套坐标与时间轴，再输出草稿画面。 Builder给出的是可编辑的Blender工程和结构化参数，因此问题可以被定位到具体环节。如果路线需要改就调整路径，如果人物走对了但镜头穿墙就修改摄影机，如果动作、镜头都合适而光线不对则只修改灯光。 与整段重新生成相比，这种中间过程给创作者留下了检查和局部修改的位置。 在专业的技术细节上，Builder有以下几个创新点： 让Agent能够真正的理解视频生成场景中创作者的三维资产 Builder支持Blender原生场景，也能接入3DGS扫描，以及GLB、glTF、FBX、OBJ、Blend、PMX等三维资产。但在OpenMise团队进行视频生成创作的实验中，场景能够显示和系统已经理解了场景存在很大的gap。以3DGS为例，它主要保存空间中的高斯分布与外观信息，并不会天然提供房间名称、门的位置、真实尺度、可行走地面或碰撞边界。 视频 | 使用自然语言命令OpenMise导入三维资产，并符合语言命令在指定位置完成导入的动作 因此，场景接入后还要经过坐标校准、尺度校准与空间标注。Agent需要将地面方向对齐Blender水平面，建立场景单位与人物身高的对应关系，再记录起点、终点、门口、床边、可通行区域、障碍区域和摄影机活动范围。完成这些步骤后，一个「看得见的房间」才会变成可以规划路径和机位的空间表示。 实现人物运动中整体位移和骨骼动作的分开处理 在有人物的视频生成场景中，人物既可以由系统用简化几何与骨骼程序化生成，也可以来自外部角色资产。前者