GitHub 热门项目：MuseV

GitHub 项目：MuseV 仓库地址：https://github.com/TMElyralab/MuseV 星级：2847 | 作者：TMElyralab 项目描述：MuseV：具有视觉条件并行降噪的无限长度和高保真虚拟人类视频生成 =================================================== 自述文件内容： # MuseV [英文](README.md) [中文](README-zh.md) MuseV：具有视觉条件并行去噪功能的无限长度和高保真虚拟人类视频生成
夏志强^\*, 陈兆康^\*, 吴斌^†, 李超, 洪国伟, 晁湛, 何英杰, 周文江 （^*共同第一作者，^†通讯作者，benbinwu@tencent.com） Lyra Lab，腾讯音乐娱乐 **[github](https://github.com/TMElyralab/MuseV)** **[huggingface](https://huggingface.co/TMElyralab/MuseV)** **[HuggingfaceSpace](https://huggingface.co/spaces/AnchorFake/MuseVDemo)** **[项目](https://tmelyralab.github.io/MuseV_Page/)** **技术报告（即将推出）** 我们自 2023 年 3 月起就设置了**世界模拟器愿景，相信扩散模型可以模拟世界**。 “MuseV”是**2023 年 7 月**前后实现的一个里程碑。对 Sora 的进步感到惊讶，我们决定开源 `MuseV`，希望它能让社区受益。接下来我们将继续讨论有前途的扩散+变压器方案。 更新： 1. 我们发布了MuseTalk，一个实时高质量的唇形同步模型，可以与MuseV一起作为完整的虚拟人生成解决方案。 2. :new: 我们很高兴地宣布 [MusePose](https://github.com/TMElyralab/MusePose/) 已经发布。 MusePose 是一个图像到视频生成框架，用于在控制信号（如姿势）下虚拟人。我们希望与 MuseV 和 MuseTalk 一起，社区能够加入我们，朝着能够端到端生成具有全身运动和交互能力的虚拟人的愿景迈进。 # 概述 `MuseV`是一个基于扩散的虚拟人视频生成框架， 1. 使用新颖的**视觉条件并行去噪方案**支持**无限长度**生成。 2. 检查点可用于在人类数据集上训练的虚拟人类视频生成。 3.支持Image2Video、Text2Image2Video、Video2Video。 4. 兼容 **Stable Diffusion 生态系统**，包括 `base_model`、`lora`、`controlnet` 等。 5.支持多参考图像技术，包括`IPAdapter`、`ReferenceOnly`、`ReferenceNet`、`IPAdapterFaceID`。 6. 培训代码（即将推出）。 # 重要错误修复 1.`musev_referencenet_pose`：`unet`的model_name、Command的`ip_adapter`不正确，请使用`musev_referencenet_pose`而不是`musev_referencenet`。 # 新闻 - [03/27/2024] 发布`MuseV`项目和训练模型`musev`、`muse_referencenet`。 - [03/30/2024] 添加 Huggingface 空间渐变以在 gui 中生成视频 ## 型号 ### 模型结构概述  ### 并行去噪  ## 案例 所有帧均直接从 text2video 模型生成，无需任何后期处理。 更多案例在 **[pro