开发者生态
morning
昆仑万维押注世界模型的两大产业路径:内容创作实时、可交互,机器人先“预演”再行动
2026-07-27
1 阅读
约10分钟阅读
褚杏娟
字号:
近日,昆仑万维集中发布Matrix-3.5世界模型、Mureka V9.5及O3音乐模型,以及面向机器人的Riemann-1.0具身世界模型。三款模型分别指向游戏和视频内容生成、音乐创作以及机器人决策,其背后的理念都是:AI 要开始理解环境状态、记住此前发生的事情,并预测不同动作将如何改变未来。 昆仑万维董事长兼CEO方汉将2026年称为“世界模型元年”。在他看来,世界模型正在沿着两条路径进入产业:一条发生在虚拟世界,游戏、视频、音乐等内容生产将率先被实时生成和可交互技术改造;另一条则通向物理世界,机器人需要在真正行动之前,先对环境变化和动作后果进行内部推演。 世界模型首先改造内容生产 传统视频生成模型解决的是“生成什么画面”,世界模型需要进一步回答“如果用户做出某个动作,接下来会发生什么”。 昆仑万维Skywork首席科学家成宇将世界模型概括为一种状态预测范式:模型接收当前环境、当前状态以及用户或智能体的动作,再生成下一时刻的环境变化。它与一次性生成图像或视频的区别,在于模型不仅需要保证单个画面的质量,还要维持长期状态、空间结构和前后因果关系。 这种能力在游戏中尤其重要。传统开放世界游戏通常依靠大量美术、关卡、动画和程序人员,提前制作地图、人物、交互规则及任务内容。世界模型则提供了另一种可能:虚拟环境不必全部预制,而是可以根据玩家的移动、视角和操作实时生成,并在玩家返回此前区域时,继续保持建筑、物体和空间关系的一致性。 方汉判断,游戏行业可能是最早被世界模型系统性改造的产业。过去,一个开放世界游戏往往需要数百人团队投入数年时间手工搭建;如果模型能够让场景随玩家行动持续生成和演化,未来世界模型有可能成为游戏行业新的基础设施。 Matrix-3.5正是沿着这一方向升级。三个月前,昆仑万维发布Matrix-3.0,实现了在约50亿参数规模下生成720P、可实时交互的场景。此次推出的Matrix-3.5进一步加强了长期记忆、空间一致性、动作控制和推理效率,重点面向游戏、互动内容及部分机器人仿真场景。 从技术路径看,昆仑万维将Matrix-3.5的升级拆分为数据、模型和推理三个部分。 在数据侧,团队不再完全依赖人工采集,而是引入游戏引擎、自动化智能体和数据处理工具,构建自动探索、自动录制、镜头切分、质量评分及标注流程。其数据来源包括虚幻引擎生成的虚拟环境、真实游戏运行画面以及互联网公开视频,最终形成约1万小时训练数据,覆盖约1200类游戏及虚拟场景。 在模型侧,Matrix-3.5将此前以完整视频帧为单位的记忆机制,进一步升级为基于空间信息的Patch Memory。传统方案会直接检索历史画面,并把整帧内容重新输入模型,但当相机视角变化时,画面中的同一物体可能出现位置偏移,进而造成结构漂移。Matrix-3.5尝试将场景拆解为带有深度、相机位置和空间坐标的三维局部信息,只提取与当前生成区域相关的部分,再注入模型。相比直接回看完整画面,这种方式更接近对空间结构的持续记忆,使模型在长时间生成中能够更稳定地保留建筑、道路、物体和环境布局。 团队还对动态对象和静态场景进行了分离处理。人物、车辆等动态元素可以持续变化,但建筑、地形和房间结构需要保持稳定。将两者拆开建模,有助于减少长时间交互中的场景重构和物体漂移。 在推理侧,昆仑万维通过蒸馏、量化、采样优化及模型结构加速,将大型教师模型的生成能力迁移到更轻量的学生模型,目标是在较小参数规模和有限硬件条件下维持实时生成。 成宇认为,世界模型从研究走向产业,最大的分界线并不只是画面质量,而是能否实时运行。传统视频模型可以等待几十秒甚至几分钟生成一段内容,但交互式游戏和机器人无法接受这样的延迟。用户按下一个按键、改变一个方向或者让机器人完成某个动作,模型必须迅速给出反馈。 Reactor Technologies联合创始人Alberto Taiuti也强调,世界模型不能继续完全建立在为大模型和离线媒体生成设计的基础设施上。大模型通常以请求和响应的形式工作,图像、视频模型也以批处理方式生成一次性资产;世界模型则需要持续接收双向数据,保存状态,并以低延迟不断输出下一帧环境。 在他看来,实时、持续、有状态、可交互和具备因果连续性,是世界模型区别于传统生成模型的核心特征。这意味着行业不仅需要新的模型架构,也需要专门为世界模型设计的推理和服务平台。 Alberto认为,世界模型的意义也不只在游戏和视频。随着模型能够同时生成画面、声音、交互规则和状态变化,它最终可能推动“生成式软件”出现。未来的应用程序不一定由开发者预先写好每个界面和逻辑,而可能由世界模型根据用户需求动态生成完整体验。 AI并没有减少创作者做判断的责任 除了Matrix-3.5,昆仑万维还发布了Mureka V9.5和Mureka O3音乐模型,并展示了从灵感、歌词、歌曲到音乐视频的完整创作流程。 昆仑万维认为,AI音乐正在从技术演示走向大众创作工具。过去很多音乐生成模型能够输出旋律完整、节奏规整的歌曲,但作品常被认为过于平均化,缺少停顿、留白、呼吸和情绪起伏。Mureka V9.5的升级重点,是降低这种“模型感”,增加音乐的真实感和情绪变化。 成宇介绍称,Mureka V9.5并没有只围绕传统自动评测指标优化,而是更加重视人对音乐真实感的主观判断,包括旋律、人声、音质、结构、停顿和情感表达。Mureka O3则在此基础上引入更强的推理和反思机制,让模型在生成过程中反复检查歌曲结构、用户要求和局部表现,并根据结果进行调整。 与早期“一句话生成一首歌”的产品不同,昆仑万维正在把Mureka改造成一个可编辑、可迭代的创作系统。用户可以从一个模糊主题开始,让模型辅助生成歌词、确定风格、构建歌曲,再针对人声、节奏、段落和情绪进行调整,最终还可以把音乐与图像、视频结合,生成相应的MV内容。 方汉认为,AI音乐的意义并不是替代音乐人,而是把音乐创作从少数人的专业能力,变成更多人的表达工具。他表示,传统歌曲的完整制作成本可能达到20万元甚至100万元,而通过AI模型生成歌曲,边际成本可以降至非常低的水平。 这一变化已经开始影响影视和内容产业的生产流程。在发布现场,演员王珞丹分享了自己使用AI制作短片的经历。她从剧本、分镜到人物资产均参与设计,但为了获得符合预期的镜头,仍需要不断调整提示词和反复生成。 在她看来,AI并没有减少创作者做判断的责任,反而要求创作者具备更综合的审美。过去,演员、摄影、美术、剪辑和导演分别承担不同工作;当一个人使用AI独立制作短片时,需要同时理解镜头、空间、人物、节奏和视觉风格。模型可以提供意料之外的运镜和画面,但创作者仍然需要决定哪些结果能够进入作品。 青年导演崔睿认为,AI目前对影视行业最直接的价值,首先体现在工作流程和前期视觉化环节。过去,导演需要手绘故事板,或由专业团队制作预演内容,这会消耗大量时间和资金。现在,导演可以通过AI快速生成镜头草图,用于和摄影、美术及制作团队沟通。 在后期环节,AI也可以补充实际拍摄中缺失的镜头。例如,当剧组因为天气或时间限制无法完成某个特写或视角时,可以利用已有素材生成补充画面。崔睿称,部分AI生成镜头已经很难与实拍素材区分。不过,他并不认为AI会直接替代导
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱