5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 5分钟AI长视频不翻车！国产开源框架杀到全球第一梯队 梦瑶 2026-06-07 09:13:21 来源： 量子位 高一致性、低延迟、实时超分全梭哈 梦瑶 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI AIGC发展到今天，生成几秒钟的AI视频真的已经不算新鲜事儿了。 但！难的地方在于，让同一个角色在几分钟里始终保持一致（扎心.jpg）—— 多镜头切换，脸可能变了，换场景，衣服发型开始漂；人物开口，音色前后接不上！！ 问题不在模型「不会造梦」，而在于它很难「记住」这个梦…… △AI生成 也正因如此，长视频生成迟迟未能进入全行业的生产流程，更别说大规模商业化。 在长视频生成集体卡壳的当下，刚刚，有团队给出了一套新解法—— 开源长音视频生成框架 JoyAI-Echo ，并杀入全球长视频生成领域全球「第一梯队」。 把长视频创作里 角色一致性、音色稳定性、生成速度 和 画面质量 等生成痛点，一把梭哈～ 哪怕是几分钟的视频，多镜头、多场景、多段语音连续切换，人物形象和声音也能狠狠稳住。 不仅如此，支持 对话式编辑 的Agent能力也一起安排上了，以后我们做视频就像和导演聊天一样了！ 然后嘛，我再仔细一看，这套高性能开源框架，竟然来自—— 京东 ？！属实藏得太深……（震惊.jpg) 评测显示，JoyAI-Echo在跨镜头一致性、语音准确率（0.8646）等指标上全面领先行业，甚至用户偏好达59.4%~81.7%。 这下好了，AI视频也能所见即所得了。 一个可交互、高一致性、可持续迭代的长视频时代来了！ 长视频不再“跑偏”：高一致性、低延迟、实时超分 过去一年，AI视频模型的竞争重点多集中在几秒到几十秒片段：画质、运镜、风格、物理合理性。 各家模型卷得飞起，效果确实肉眼可见地next level，各类Benchmark评测表现也都非常漂亮。 然鹅吧，在AI视频生成似乎已经进入成熟期的今天，一个问题依然没有被真正解决—— 长视频生成 。 原因很简单：长视频，对整个行业来说都《太难了》…….（扎心jpg) 相比短视频生成，长视频不仅是在时间维度上的简单拉长，更意味着 跨镜头、跨场景、跨动作的连续叙事。 但目前行业里的长视频生成，仍然普遍存在几个长期困境： 说话人的音色忽高忽低；生成速度也慢得离谱，往往要等上好几分钟才能看到结果。 这些问题背后，暴露的则是当前模型在长时序生成上的天然挑战： 模型错误累积、长程时序一致性弱、推理延迟高。 最终带来的结果就是，视频里的人物会变脸，声音会飘，生成还得等很久。 这些问题也直接限制了AI视频在虚拟叙事、数字人助手、实时内容创作等场景中的进一步落地和「规模化应用」。 △AI生成 而JoyAI-Echo给出的解法是，通过跨模态音视频记忆库、记忆驱动后训练、轻量化实时超分让长视频生成更稳。 哪怕是几分钟的视频，我们也能丝滑拿下！！拒绝反复抽卡！！ 跨模态音视频记忆库：角色再也不“变脸” 长视频生成最让人头疼、行业最难啃的一块骨头，就是角色和声音的「前后不一致」。 在JoyAI-Echo团队看来，问题的根源在于 现有模型缺乏真正意义上的长期记忆能力 。 行业里传统方案、通常依赖上下文窗口保存历史信息，但随着视频长度增加，早期内容会逐渐被后续信息稀释。 模型虽然能够记住最近几个镜头，却很难稳定保存数分钟之前的人物特征！！ 而 JoyAI-Echo 的做法是—— 直接在框架里塞进了一套 「跨模态音视频记忆库」 。 与其让模型记住所有历史内容，不如把最关键的身份信息保存下来，并在后续生成过程中持续调用。 这样一来，即便视频长度来到5分钟，角色的身份、外观和声音依然能够保持高度一致！！！ 这套记忆库最大的特点在于， 它记录的不只是人物长相，还会同步记录说话人的音色，并将两者绑定在一起。 当角色首次登场时，系统会提取其视觉特征和声音特征写入记忆库；后续每生成一个镜头，都会从记忆库中调取这些信息作为参考。 为了兼顾效果和效率，系统也不会无限扩展记忆，而是保留故事开头的关键镜头，以及最近生成的镜头。 这样既不会忘记主角最初长什么样，也始终知道剧情刚刚推进到了哪里： 所以说JoyAI-Echo并不是让模型拥有更大的记忆力，而是让模型学会像人一样记忆—— 只保留最重要的信息，并在需要的时候准确调用。 而这套跨模态音视频记忆机制，也成为JoyAI-Echo实现5分钟长视频高一致性生成的核心基础～ 记忆驱动后训练：速度提升7.5倍 对于长视频生成来说，一致性只是第一步， 生成速度 同样决定了产品能不能真正落地。 为此JoyAI-Echo团队在模型训练之外，又专门设计了一套记忆驱动的后训练流程，在不牺牲生成质量的前提下，把推理效率再往前推一步～ 整个流程主要分为三步，首先通过 SFT监督微调 ，让模型学习高质量音视频生成能力。 随后利用 人类反馈强化学习 进一步优化人物一致性、画面质量以及音画同步效果。 最后再通过 DMD （Distribution Matching Distillation）技术，将复杂的大模型能力压缩到更高效的推理模型中。 △AI生成 在整个后训练体系中，DMD是最关键的一环。 而且最最最最需要夸的一点是，仅DMD相关优化就带来了约 7.5倍 的推理速度提升！！ 我们可以把DMD理解成一次「能力浓缩」—— 先让一个能力更强、但推理速度较慢的教师模型完成完整生成流程，再让一个更加轻量的学生模型去学习和复现教师模型的生成结果。 这样一来，原本需要大量扩散步骤才能完成的生成任务，被压缩成更少的推理步骤，模型却依然能够保持接近的生成效果。 如果说跨模态音视频记忆库解决的是「不要忘」，那么这套后训练体系解决的就是「别太慢」。 一个负责守住长视频的一致性，一个负责提升长视频的生成效率。 两者结合，才让JoyAI-Echo真正具备了迈向长视频生产工具的基础能力～ 轻量化实时超分：高清输出不卡顿 一致性有了，速度也上来了，但长视频生成还有最后一道坎儿—— 清晰度。 毕竟真到了数字人、品牌营销、短剧创作这些场景里，谁也不希望最后拿到的是一个糊糊的视频…… 但问题是，当前业内通常采用「视频生成+离线超分」的两阶段架构。 视频先生成，再交给独立超分模型处理。 这种方案虽然也能提高分辨率，但额外引入了一轮推理流程，不仅增加等待时间，还容易造成生成结果和超分结果的偏差。 意思就是，高清是高清了，可等待时间也跟着上去了。 △AI生成 而JoyAI-Echo给出的解决方法是，创新性地 把超分能力直接塞进生成链路里 。 具体来说，系统会先生成720P视频和对应音频，再通过轻量化实时超分模块一步完成高清视频和音频细节增强。 整个超分过程只需要 一次向前推理 ，就能直接输出1K甚至2K分辨率结果～ 这样不仅画面细节更丰富，音频质量也会同步优化。 整个过程还不会明显增加生成延迟，用户也终于可以不用在「速度」和「清晰度」之间做选择了。 对于数字人直播、实时创作、内容互动这些对延迟极其敏