智能AI
morning
两个世界彻底「连上了」!全新世界模型Duo v1开启实时交互
摘要
编辑|陈陈 想象一下,你在现实中拿起一瓶水,递向屏幕。下一秒,屏幕里的虚拟人物竟然伸出手,接过了这瓶水。 更有意思的是,虚拟世界里的景色也能随着对话发生变化。当你和虚拟人物聊起杭州西湖,原本明亮的白天场景,竟然会随着交流逐渐切换成夜幕下的西湖。 这听起来像是科幻电影里的桥段,却已经有研究团队将它变成了现实。 近日, 蚂蚁团队 联合 西湖心辰 提出 全新世界模型范式 Reciprocal World...
Duo
Intent
https
RWM
Realization
Model
inclusionAI
Reciprocal
World
双向世界模型
2026-11-17
1 阅读
约10分钟阅读
机器之心
字号:
编辑|陈陈 想象一下,你在现实中拿起一瓶水,递向屏幕。下一秒,屏幕里的虚拟人物竟然伸出手,接过了这瓶水。 更有意思的是,虚拟世界里的景色也能随着对话发生变化。当你和虚拟人物聊起杭州西湖,原本明亮的白天场景,竟然会随着交流逐渐切换成夜幕下的西湖。 这听起来像是科幻电影里的桥段,却已经有研究团队将它变成了现实。 近日, 蚂蚁团队 联合 西湖心辰 提出 全新世界模型范式 Reciprocal World Model(RWM,双向世界模型) ,并推出 首个实现版本:原生世界模型 Duo v1 。 Duo v1 将 智能 与 物理现实 视为构成世界的两个同等重要的基础。它希望生成一个有鲜活智能体存在的世界,并通过 实时全双工交互 将其与现实世界连接起来,在对方仍然表达或行动时作出回应、主动打断,也可以选择保持沉默。 为实现这一目标,团队提出了两项核心能力: Intent(意图) 负责理解交互情境、进行推理并决定如何参与; Realization(实现) 负责将这些意图转化为连贯的视听行为。 用户还可以向模型展示现实中的物体、改变虚拟场景、引导 AI 助手,或参与音视频游戏,整个过程无需依赖鼠标或键盘控制。 arXiv: https://arxiv.org/abs/2611.15131 Homepage: https://duo-v1.github.io/ Github: https://github.com/inclusionAI/Duo Hugging Face Model: https://huggingface.co/collections/inclusionAI/duo-v1 ModelScope:https://www.modelscope.cn/collections/inclusionAI/Duo-v1 从模拟物理世界,到让智能主体参与其中 理解 Duo v1,首先要理解团队对现有世界模型的一个判断。 目前主流世界模型的研究重点是模拟物理世界。模型观察过去的画面和控制信号,预测未来场景如何演化。用户通过键盘、鼠标、手柄或文字指令改变环境,模型负责生成变化后的画面。 这种模式下,交互的主动权掌握在用户手中。世界中的角色更多承担被观察、被操控的功能,缺少自主感知用户、理解交互情境、决定如何回应,甚至与用户共同创造的能力。 换句话说,生成一个世界并不难,难的是让这个世界中的角色真正「活」起来。 基于这一判断,团队提出 双向世界模型 Reciprocal World Model(RWM) ,并发布实现版本 Duo v1。 这里的关键是「双向」。传统交互通常由用户发起指令,再等待模型给出结果。RWM 则希望 让交互双方都成为主动参与者,持续感知对方的音视频,并根据实时发生的情况作出反应 。 用户说话时,虚拟主体可以自主判断是否回应,甚至在用户尚未说完时主动插话;用户展示现实中的物体时,它也能结合视觉信息理解情境。 这种双向实时交互能力,也让 RWM 与其他常见技术路线形成区别。 大语言模型主要负责语言理解与生成,传统世界模型侧重环境模拟与未来状态预测,多模态 Agent 或数字人方案则通常通过 ASR、LLM、TTS 和视觉模型等组件组合实现交互。 Duo v1 探索的是另一种实现方式。 它通过 Intent 和 Realization 两个相互协作的模块,将交互决策与音视频生成整合到同一架构中 。 因此,双向世界模型是将智能主体的感知、认知和行为纳入世界模型本身,让虚拟世界与现实用户之间形成持续的双向连接。 从意图决策到音视频生成,拆解 Duo v1 的核心架构 在实现方式上,Duo v1 采用模块化设计: Intent(意图模块) : 负责理解交互情境、推理用户意图,并决定何时回应、回应什么内容。 Realization(实现模块) :负责将这些意图转化为具体的音视频行为,包括生成语音、人物表情和画面动作。 两个模块之间通过 Intent 输出的隐藏状态传递信息。这些隐藏状态承载了模型在交互推理过程中形成的语义特征,为 Realization 提供生成音视频所需的条件。 Intent:让模型学会什么时候说话 传统音视频生成系统通常由语言模型承担条件编码,将理解后的文本信息传递给扩散模型,作为后续音视频生成的条件。 Duo v1 对 Intent 模块赋予了更完整的职责,它需要持续理解正在发生的交互,并自主判断是否应该参与。 在每个时间块(chunk)内,Intent 模块基于用户输入和交互历史,实时自主决策,并同步生成对应的语言内容。 :开始说话,并生成对应文本。 :当前 Chunk 不产生新的助手文本,选择继续等待。 例如,用户还在表达时,模型可以选择等待;当用户提出问题,或者出现适合回应的时机时,模型可以主动开始说话。需要注意的是, 并不意味着整个系统停止输出。此前生成的语音可以继续播放,Realization 也可以延续此前的音视频生成过程。 值得注意的是,Intent 不只把最终生成的文本传递给 Realization,还会输出对应的隐藏状态,让后者获得更丰富的语义条件。 此外,为了支持实时响应生成,团队还将音频和视频编码为紧凑的潜在表示,供后续音视频生成使用。 Realization:让意图变成连贯的视听行为 Realization 是 Duo v1 负责音视频生成的核心模块,采用因果音视频扩散 Transformer(Causal Audiovisual Diffusion Transformer)。 模型从随机噪声开始,在意图表示、参考图像、当前可用的用户输入,以及此前生成的助手音视频内容等条件约束下,逐步生成音视频潜变量。此前生成的内容会作为历史信息,帮助模型在不同回应 Chunk 之间保持连续性。 意图条件。通过线性投影,将 Intent 模块输出的隐藏状态映射到 Realization 模块的隐藏维度,再利用一个精炼网络(Refiner Network)生成文本条件嵌入。 媒体条件。用户输入的音频和视频分别通过音频 VAE 和视频 VAE 编码器进行处理,生成对应的条件潜变量。 参考图像则通过视频 VAE 编码器处理,得到参考潜变量。随后,这些潜变量被映射为联合扩散 Transformer(DiT)对应的输入嵌入。 此外,此前生成的助手音频和视频潜变量也会作为音视频历史信息输入模型。 这些条件共同为当前回应 Chunk 提供四类信息:用户的实时观察、参考图像的外观特征、语义指导,以及模型此前生成的交互历史。 需要注意的是,模型只会使用第 k 个 Chunk 开始之前已经获得的用户输入,不会访问尚未发生的后续信息。 为了让不同模态在时间上保持一致,团队引入了三维旋转位置编码(3D-RoPE),统一表示音频、视频和文本 Token 的时间与空间关系。音频和视频按照实际播放时间进行对齐,音频还通过不同的空间位置编码区分左右声道。 与此同时,Duo v1 还需要确保不同模态在时间上严格对齐。 为此,团队将用户语音、视频画面、Intent 决策和 Realization 生成统一映射到同一时间线上,并以约 0.7 秒为一个 Chunk 组织交互。不同模块采用专门设计的注意力掩码,
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱