VAST开源实时世界模型EdenLive！单消费级显卡、720P超24FPS

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> VAST开源实时世界模型EdenLive！单消费级显卡、720P超24FPS 听雨 2026-10-18 19:49:49 来源： 量子位 听雨 发自 凹非寺 量子位 | 公众号QbitAI VAST的世界模型，今天有了新成果。 实时世界模型 EdenLive ，正式发布并开源。 据VAST介绍，EdenLive首次实现了在实时生成的前提下，同时完成任意参考输入、任意画风生成和长时连续运行。 具体来说，给它简化场景或参考视频，再配上目标首帧和提示词，就能沿着参考的布局与运动，持续生成写实、二次元等不同画风的精细画面。 参考来源可以不同，生成画风可以指定，而这些变化都能在实时生成过程中呈现。 在单张消费级显卡Nvidia RTX 5090上、720P条件下，5B模型的生成速度 超过24FPS ，还能持续生成分钟级画面。 据VAST介绍，从用户输入操作到对应画面出现，这套系统目前的端到端延迟为百毫秒级。 画面持续变化的同时，交互规则和世界状态由上游交互系统维护。系统接收玩家操作、更新状态，EdenLive再根据对应的参考画面，将这些变化实时呈现出来。 最近，AI在3D场景搭建与交互创作上的能力，变得越来越直观。 GPT-6 Astra 就是一个典型例子：它已经能够在Blender里搭建房屋，再将其转入Unreal Engine 5，形成可以进入、漫游的场景。 当AI能够搭建场景、设计交互玩法，如何让这些内容获得精细且实时的视觉表现，也就成为接下来需要解决的问题。 在这样的背景下，一条技术路线逐渐成为行业共识： 由交互系统维护底层状态和运行规则，再由生成模型负责视觉渲染 。 而这套分工，VAST早在今年6月初就已经明确并对外发布成果。 当时公开的Project Eden研究预览，已将 「状态维护与视觉渲染解耦」 作为核心设计。 从时间上看，这一路线选择早于行业共识形成约3-4个月。 如今，EdenLive作为这条路线的阶段性成果发布，并开放模型权重和推理代码，同步公开技术报告与端到端Demo。 代码： https://github.com/VAST-AI-Research/EdenLive 项目主页： https://vast-eden.ai/?p=edenlive 技术报告： https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf 开放权重： https://huggingface.co/VAST-AI/EdenLive 多种参考输入，不同画风实时生成 EdenLive的核心价值，在于为简化场景和交互内容提供高质量实时渲染，底层逻辑与状态则继续由上游交互系统维护。 它具体能做什么？我们先来欣赏一波Demo。 交互式游戏预览 首先是交互式游戏预览，2D、3D场景都可以接入。 现阶段，EdenLive更适合场景漫游、推箱子等交互相对低频的玩法，让创作者在操作游戏原型的同时，查看精细画面下的呈现效果。 【此处无法插入视频，遗憾……可到量子位公众号查看～】 比如岩浆闯关，角色用冷冻枪制造落脚点，再通过跳跃一路前进。 要让这样的游戏画面随着操作持续更新，生成速度首先得跟上。 据VAST公布的数据，在单张消费级显卡RTX 5090、720P条件下，EdenLive的5B模型生成速度 超过24FPS ，也就是每秒生成超过24帧画面。 另一个Demo——双人对打游戏，则能具体展示角色动作与血条、回合计时等游戏状态的配合。 除了画面更新速度，按下按键后多久能看到反馈，也直接影响交互体验。 据VAST介绍，EdenLive目前从用户输入到对应画面出现，端到端延迟为百毫秒级。 这套系统还支持分钟级连续生成，让场景漫游和连续操作有更长的展开空间。 场景与动画预览 除了游戏互动，EdenLive还可以用于场景与动画预览，在场景布局和运镜已经确定的基础上，更换不同的美术风格。 比如，让大家天天玩的「鹈鹕骑自行车」成真…… 从未见过如此栩栩如生之鹈鹕啊。 生成画面不仅让羽毛和海边环境有了细致的质感，还模拟出了真实的光影。 用简单模型搭出的雪地行车场景，经EdenLive生成后，也呈现出了更写实的车身纹理、积雪和光影效果。 这些画面的生成，由三类输入共同控制：参考画面提供场景布局、镜头与运动，目标首帧设定整体外观和画风，提示词则补充风格与细节。 因此，同一套布局和运镜，可以用来生成不同美术风格的版本，供导演和概念设计师比较、选择。 视频重渲染与换⽪ 已有视频也可以交给EdenLive重新渲染，实时替换角色形象、画面内容和整体风格。 比如，将蓝色背景前的真人转换成卡通角色，但人物姿态和服装配色仍与参考画面保持一致。 这类用法类似虚拟主播换形象，以真人的动作作为参考，生成另一种角色外观。 再比如，将实拍房屋转换成手绘动画风格。 房屋的大体布局得到保留，屋顶、墙面和窗框则用线条重新勾勒，色彩与光影也变得更加柔和。 具⾝数据增强 EdenLive还可以用于具身数据增强，将真实人类操作画面转成机器人视角，并对第一视角视频中的物体和外观进行修改。 比如这段视频中，人手拿着喷壶和抹布清洁台面。 经EdenLive生成后，双手被替换成机械手，抹布从橙色变成了黄色，但清洁动作仍然与原视频保持一致。 除了替换操作主体，第一视角视频中的物体、材质和颜色也可以调整。 比如把人手替换成金属机械手臂，推车扶手换成银色金属质感，但抓握和推行的动作与原视频保持一致。 这样，已有操作视频就能衍生出不同外观的版本，为具身研究扩展视频样本。 从简单的2D动画、3D场景，到实拍视频和第一视角操作画面，这些不同来源的素材，都可以作为EdenLive的参考输入。 用同一模型接收多种参考，沿着已有布局与运动改变视觉表现，再以实时、分钟级连续生成的方式输出画面，正是这组Demo共同展示的核心能力。 现阶段，EdenLive也仍存在一些需要改善的地方。 高频、激烈的交互对生成速度和动作呈现有更高要求；多个角色同时出现时的身份保持、小物体的精细控制，以及长时间生成中的视觉一致性，也有进一步提升的空间。 不过，VAST已经开放了不同规格的模型权重和推理代码，同时公开了技术报告和上述端到端Demo。 官方还将同步开源 Game Prototype Turbo ，一款「Prompt to Proxy Game」Skill。 用户可以通过它快速生成可直接游玩的游戏原型。游戏运行时，交互系统持续更新状态，并输出对应的简化参考画面；EdenLive再将这些画面实时渲染为精细的视觉内容，反馈给玩家，形成从游戏逻辑到实时视觉呈现的完整链路。 大家都可以去体验一下～ 拆解EdenLive技术路线与核心壁垒 接下来，我们来看看EdenLive背后的技术路线究竟是怎样的。 其采用的核心技术是 「解耦世界状态与视觉渲染」 ，也就是把世界如何运行、画面如何呈现分开处理。 比如这段街头对打Dem