Matrix Game 4.0击败英伟达同期竞品，实现全球首个消费级显卡落地

编辑｜冷猫 游戏玩家们，开发者们，时代变了。 只需一张消费级显卡，AI 实时生成的可交互游戏就能以 60 FPS 流畅运行，开始有了真正能玩的样子。 让我们直接来看演示视频。 如果不提前告诉你，其实还蛮难想象这些游戏画面竟然是 AI 实时生成的。视频中的游戏由 Coding Agent 编写，画面则交给视频模型实时重渲染。 一组数据足以让人震撼。基于 Wan2.2 5B，在 单张 RTX 5090 上以 480p 分辨率，能够实现 游戏 60 FPS 运行 ，按键到画面响应端到端延迟低于 150ms 。在 1 步去噪下稳态生成速度高达 83 FPS，显存峰值约 18.5 GiB。 对比而言， 英伟达研究团队本周刚刚推出的 StreamRender-H3 ，采用类似的技术路线。根据其公开的技术报告，StreamRender-H3 在 8 张 GB200 GPU 上，将流式扩散渲染的单步耗时优化至 218ms ，而其交互延迟约为 500ms 。 当英伟达研究团队还在动用 8 张数据中心 GPU 探索实时生成游戏时，中国团队经过锲而不舍的研发，已经拿出了单张消费级显卡运行的方案，在同样的技术逻辑下超越了英伟达！ 实现这一重大技术突破的，是 昆仑万维最新发 布的 Matrix-Game 4.0，全球第一款消费级显卡实时运行的视频大模型 游戏，并且同步开源。 此次开源的不只有模型权重，还包括可供开发者 直接修改、扩展和二次创 作 的游戏代码 。这意味着，开发者可以在现有基础上快速构建，也为 Matrix-Game 4.0 吸引更多开发者、培育开源生态提供了更大的想象空间。 GIthub 链接：https://github.com/SkyworkAI/Matrix-Game.git Hugging Face 链接：https://huggingface.co/Skywork/Matrix-Game-4.0 视频模型的「Harness」：三角分工 过去两年，以 Genie 系列为代表的交互式世界模型走的是一条「全托管」路线，一个视频模型同时承担世界建模、状态记忆和画面生成三重任务。 这条路上的困境已经被反复验证。Genie 3 虽然实现了实时生成、记忆窗口拉到约一分钟，但世界状态只隐式地存在于生成的像素中。一旦物体离开视野就没有任何东西在「记着」它，微小误差在自回归过程中不断累积，场景会在几分钟内逐渐丧失真实感。 在最初的三十秒左右的时间里，那片 “尘暴地带” 的场景看起来非常真实，具有空间上的连贯性、一致的照明效果、逼真的建筑风格以及符合那个时代的细节特征。不过，随着我继续浏览画面，画面的质量逐渐下降：纹理变得柔和，几何形状也失去了真实感。（来源：斯坦福大学 Starling Lab） 事实上，世界模型领域已经有不少团队意识到，单靠视频模型很难维持一个长期稳定的交互世界，并开始探索将世界状态与画面生成分离的技术路线。 例如与 Matrix-Game 4.0 架构相似的同期工作，Programmable World Model 尝试通过可编程引擎维护世界状态，StatePlay 采用视频与状态双分支联合预测，MASS 则探索利用学习式逻辑引擎维护多人共享的世界状态。 Matrix-Game 4.0 在此之上进行了创新，不只是在画面生成质量，还在算力要求和实时响应，更在于把 「状态维护 — 实时交互 — 开发生态」 三个分散的能力进行了整合，这正是 Matrix-Game 4.0 与同期工作拉开差距的地方。 表：交互式世界模型路线对比。Matrix-Game 4.0 首次在消费级显卡上实现实时可玩，并将模型权重与可改编游戏代码同步开源。 昆仑万维 Matrix-Game 4.0 团队的判断是，现阶段的扩散模型学到的主要是统计相关性，能让生成结果看起来真实，却很难真正掌握因果关系和物理规律。既然视频模型独自记住整个世界这条路走不通，那就为它 套上一个外部「harness」，由三个模块各司其职。 游戏引擎，充当世界的「裁判」 游戏引擎的能力，是整个世界构成的基石：道路是平面，建筑是盒子，人物是骨架。血量、重力、碰撞、任务进度等游戏规则，都由引擎直接计算。每一帧，引擎都会输出一份「结构草图」，明确相机和物体的位置，以及发生了哪些碰撞事件。这样一来，世界的真实状态始终真实，有根据，不再随机变化。 有意思的是，这位「裁判」本身也可以由 AI 来编写。Matrix-Game 4.0 中的游戏，就是由编程智能体（Coding Agent）通过代码构建的轻量级游戏，GPT-6 也参与了代码编写。血量、碰撞、检查点等游戏规则，本质上都是一段段可以修改的代码。引擎每一帧输出的结构画面，则是视频模型重渲染的起点。 这带来了一个很直接的好处：想修改游戏玩法，让 Coding Agent 改代码就行。我们举几个例子： 在射击 Demo 中，团队通过 Coding Agent 给游戏加入了血量和装备管理机制：敌我双方盾牌有耐久度，耐久耗尽便会失效；玩家血量归零，游戏随即结束。 盾牌耐久耗尽消失 破坏敌人盾牌后击杀 血量耗尽游戏结束 赛车 Demo 的玩法变化更有意思。团队先构建了一个带有检查点的计时赛，随后又将其改造成车辆追击任务：玩家需要接近目标车辆，并保持五秒，才能完成拦截。 检查点计时赛，碰撞罚时示意 追击任务过程中 追击任务 拦截成 功 从计时竞速到车辆追击， 游戏规则变了，底层视频模型却无须重新训练 。 这也体现了将游戏逻辑与画面生成分离的价值：开发者可以更灵活地调整玩法，而视频模型只需要负责呈现游戏世界。 Coding Agent，充当世界的「编剧」 它负责将玩家的创意转化为真正可以运行的游戏，主要有两个任务。一是为游戏场景赋予具体的视觉风格。比如，引擎中一个简单的建筑模型，既可以被描述为「海边的一栋老旧木屋」，也可以变成「未来都市中的科技商店」。这些描述会作为文本条件，与引擎输出的结构画面一起，指导视频模型完成实时渲染。二是负责即兴创作。玩家只需要用自然语言提出需求，从调整地形、布置物件，到修改 NPC 行为、设计新玩法，Coding Agent 就能将这些想法落实为具体的场景配置和游戏代码。 视频生成模型，充当世界的「画师」 传统游戏开发中需要耗费大量人力制作的美术资产，以及复杂的光影、烟雾、液体等视觉效果，如今交给视频模型实时生成。不过，这位「画师」也有明确的权限边界：外观细节可以自由发挥，并保持前后的一致性；画面中凭空出现的新物体，需要经过智能体识别和引擎检查；至于血量、背包等核心游戏数据，视频模型无权修改。 它可以决定世界看起来是什么样子，却不能擅自改变世界的运行规则。 我们可以通过下面的对比画面，直观的感受一下游戏引擎输出的结构画面和实际画面的区别。 第三人称射击 赛车（1.5 倍速演示） 至此，我们能清晰地发现： Coding Agent 即兴创作新场景、剧情与 NPC 对话、多人共享同一世界，是 Matrix-Game 这条路线的设计目标。 游戏引擎维护一个规则明确的世界，Coding Agent 负责理解和扩展这个世界，视频模型则不断赋予它丰富、逼真的视觉表现。 Matrix-Game 4.0 是这条