全新统一流式架构，Vivix灵动时刻正式发布首个实时互动模型

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 全新统一流式架构，Vivix灵动时刻正式发布首个实时互动模型 henry 2026-07-25 11:21:53 来源： 量子位 单卡突破10000 video tokens/s，Vivix打通实时多模态生成全链路 henry 发自 凹非寺 量子位 | 公众号 QbitAI 要我说，诺兰的《星际穿越》，还是拍保守了。 电影里，两个平行时空的交汇，要靠摩斯密码。 而今天，AI已经能“附”到任何物体或角色身上，让它们在另一个世界里开口、行动，和你实时视频通话。 比如，这只小猫可以一边说着土味情话，一边弓背、摇尾巴、抬爪子，还能在自己的世界里来回走动（注意看，它脚下的影子也会随之变化）。 重要的是，这些反应并不是提前编排好的。 小猫会跟着你的声音即时变化：你说一句，它就根据新的输入作出新的动作和回应。 而这只小猫背后，就是Vivix最新发布的 实时交互多模态模型 A1。 A1让用户可以像打视频电话一样，与屏幕另一端的虚拟角色持续交流。 相比传统数字人和视频生成模型，A1最大的不同在于—— 屏幕里的角色真正拥有了身体。它不再只是对着镜头说话，而是能够行动、转身、改变姿态，并与所在世界里的物体和环境持续互动。 可以说，这种感觉，真的像在和另一个平行世界连线。 与此同时，为了让角色背后的世界也变得更加丰富，Vivix还同步推出了W1。 W1让用户不再只是站在屏幕外看故事，而是可以随时介入，改变人物的选择、行动，以及接下来的剧情走向。 看到这里你可能会想：这得多吃算力啊？ 但据Vivix官网技术博客介绍，A1虽然拥有近30B激活参数，却通过MJD、原生NVFP4训推策略和一套自研的通信-计算调度+mega-kernel推理基础设施，将部署门槛极致地压到了消费级GPU实时推理，近似画质下推理效率提升了近两个数量级。 与此同时，其流式调度器响应新输入的时间最短为300毫秒，从用户发出输入，到画面首次出现可见反应，延迟平均0.6秒。 也就是说，这边话音刚落，屏幕另一端的角色基本已经动起来了。 官方现已开放内测，欢迎访问官网及API开放平台申请体验：https://vivix.ai/ 它究竟是怎么做到的？ 统一流式架构与原生交互建模 这通平行世界的视频电话要真正接通，第一步不是让角色回答得多聪明，而是让它在持续生成过程中，始终还是同一个角色、身处同一个世界。 Vivix将A1定位为全球首个在一套原生流式架构中，统一 多模态参考 、 实时交互 和 流式生成 的基础模型。 拆开来看，A1在模型层面主要做了三件事： 参考条件要持续生效，新的交互要随时插进来，音频和视频还得一直往下生成。 统一多模态参考、交互与流式生成 为了实现上面的效果，A1首先把多模态参考、实时交互和视频生成，统一进了一套原生流式架构。 这听起来像是把几个模块接在一起，但真正困难的地方在于： 模型既要随时响应用户的新输入，又要在不断向前生成的过程中，维持角色、物体和场景的长期一致性。 传统clip-based视频模型通常一次生成一个完整片段，由于可以提前看到整个片段，它能够统筹前后的动作和画面，相对容易保证人物、场景和物体关系不发生明显变化。 流式生成却没有这样的条件，它不知道几秒之后会发生什么，只能一边看着已经生成的画面，一边接收用户刚刚发来的指令，实时预测下一段内容。 这就像一边铺铁轨，一边开火车。生成持续得越久，误差就越容易不断累积。角色的外形、位置和动作可能逐渐漂移，物体与场景之间的空间关系也可能被破坏。 最简单的解决办法，自然是让角色少动一点，用僵硬换稳定。 但一只不敢转身、不敢走动，甚至不能真正接触环境的猫，显然谈不上拥有身体。 A1的做法，是把图片、视频、声音、交互历史和已经生成的内容共同写入持续状态，让它们在后续流式生成中反复生效。 具体的，A1通过因果时序建模和流式状态维护，让相邻动作保持连续，并在更长时间范围内维持角色身份、场景和物体关系。 其中，局部连续性先验负责让相邻动作自然接上，全局序列先验则看住更长时间里的角色身份、场景和物体关系。 在此基础上，模型同时优化开放式指令遵循、时间连续性、角色一致性、物体一致性和运动动态，重点处理长期生成中的视觉漂移、误差累积和动作衰减。 换句话说，A1既要保证角色一直是它自己，也不能因为怕出错，就让它站在原地一动不动。这是它与现有所有数字人相关模型产品最大的差别。 不过，让角色和世界保持连续，只解决了“它还在不在”的问题。 想要像视频通话一样互动，它还得听懂文字之外正在发生的一切。 Speech、Audio、Gesture与Event统一建模 今天的大多数数字人，本质上还是一条串起来的流水线： ASR先把语音转成文字，LLM根据文字生成回答，TTS再把回答变成声音，最后由Motion Model或Video Model补上口型和动作。 这套方法可以工作，但链路每多一层，就会多一次等待和信息交接。 更麻烦的是，很多信息根本没法被完整压缩成文字。 一句话里的语气、停顿和情绪，环境里突然响起的雷声、风声，或者画面中出现的手势和动作，都可能在转写过程中被丢掉。 A1没有把ASR文本当作唯一的交互中间表示，而是直接建模语言语义、声学特征、非语言声音、环境事件、手势和动态视觉信号。 如上图所示，多模态上下文（包含音视频参考、系统prompt、历史帧等）会原生多模态地输入给A1模型，模型在最小时间片内（约300ms）就会推理出对上述上下文的最新响应token。这部分可以理解为模型的“快思考”。 更上层的Director Agent则负责“慢思考”——推理、思考、tool use，并异步给出长时序的宏观行为控制。 于是，角色不必只等一轮完整的文字转写结束后再行动。 用户的语气发生变化，环境里突然出现新的声音，或者画面中有人做出新的动作，都可以成为新的触发信号，继续改变尚未生成的内容。 这就是A1所强调的持续聆听和事件触发响应。 感知、规划、行为控制和音视频生成，不再是几个各自排队的离线任务，而是进入了同一条实时链路。 到了这里，角色已经能够听懂用户，也知道接下来该做什么。 但如果下一帧要等上几秒，这通视频电话依然打不起来。 MJD把8-Step压缩到2-Step 实时性的下一道瓶颈，来自视频扩散本身。 视频扩散的不同采样步骤承担着不同任务：有的先搭出语义结构和运动方向，有的补充局部细节，还有的负责维持前后画面的连续性。 因此，直接减少采样步数，往往会同时损失动作幅度、画面细节和长时稳定性。 为此，Vivix提出MJD（Multidimensional Joint Distillation，多维联合蒸馏），以8-Step版本作为质量基线，把不同去噪阶段承担的能力共同压缩进2-Step模型，而不是只针对单帧画质蒸馏。 具体的，MJD同时优化三个目标： Short-Horizon Generation Quality：保留快速采样下的视觉细节和运动表现； Long-Horizon T