智能AI
morning
D\'ecoupage:用于长多镜头视频生成的导演视听控制
2026-11-17
1 阅读
约1分钟阅读
Yifan Wang, Hao Ouyang, Qiuyu Wang, Yihao Meng, Wen Wang, Zeyue Tian, Yichong Lu, Hanlin Wang, Qingyan Bai, Zichen Liu, Yujun Shen, Qifeng Chen
字号:
arXiv:2611.18866v1 公告类型:新 摘要:在电影叙事中,声音和视觉过渡并不总是步调一致:对话经常跨越剪辑以揭示反应或通过 J 和 L 剪辑引入新场景,而故意的沉默则在场景中节奏。然而,现有的视听生成框架缺乏明确的机制来协调扩展范围内独立的视觉和听觉时序。随着叙事时长和镜头复杂性的增加,这些系统很难维持长距离对话节奏,经常在预定的沉默期间产生幻觉,或者错误地驱动沉默的听众的嘴部动作。为了实现细粒度的电影控制,我们提出了 DECOUPAGE,这是一个剧本驱动的框架,用于长格式、多镜头和多角色联合音频视频生成。 DECOUPAGE 不是默认耦合模态边界,而是将生成解耦为由持久角色身份控制的独立边界的视觉和声学轨道。 DECOUPAGE 建立在具有双时间表时间交叉注意的联合音频-视频扩散模型的基础上,结合了导演唇形同步机制,可在屏幕外对话期间选择性地将语音调节与视觉面部动态分离。在多镜头对话基准测试中,DECOUPAGE 实现了对镜头过渡、音频定时和可见性感知唇形同步的精确控制,以多模态连贯性指导 15 至 60 秒剧本驱动的音频视频生成。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱