GitHub 项目：V-Express
仓库地址：https://github.com/tencent-ailab/V-Express
星级：2357 | 作者：腾讯ailab
项目描述：V-Express 旨在在参考图像、音频和 V-Kps 图像序列的控制下生成头部说话视频。
===================================================
自述文件内容：
# **_V-Express：用于人像视频生成渐进式训练的条件退出_**
[](https://github.com/tencent-ailab/V-Express/)
---
## 简介
在人像视频生成领域，使用单张图像生成人像视频已经变得越来越普遍。
一种常见的方法涉及利用生成模型来增强适配器以实现受控生成。
然而，控制信号的强度可能会有所不同，包括文本、音频、图像参考、姿势、深度图等。
其中，较弱的条件往往由于较强条件的干扰而难以发挥作用，这给平衡这些条件带来了挑战。
在我们关于肖像视频生成的工作中，我们发现音频信号特别弱，通常被姿势和原始图像等更强的信号所掩盖。
然而，用弱信号直接训练往往会导致收敛困难。
为了解决这个问题，我们提出了 V-Express，这是一种通过一系列渐进式下降操作来平衡不同控制信号的简单方法。
我们的方法逐渐能够通过弱条件进行有效控制，从而实现同时考虑姿势、输入图像和音频的生成能力。
## 发布
- [2024/10/11] 🔥 我们发布了训练代码。
- [2024/06/15] 🔥 我们优化了内存使用，现在支持生成更长的视频。
- [2024/06/05] 🔥 我们已经在 [arXiv](https://arxiv.org/abs/2406.02511) 上发布了技术报告。
- [2024/06/03] 🔥 如果您正在使用ComfyUI，可以尝试[ComfyUI-V-Express](https://github.com/tiankuan93/ComfyUI-V-Express)。
- [2024/05/29] 🔥 我们添加了视频后处理，可以有效缓解闪烁问题。
- [2024/05/23] 🔥 我们发布了代码和模型。
＃＃ 安装
````
# 下载代码
git克隆 https://github.com/tencent-ailab/V-Express
# 安装要求
cd V-Express
pip install -r 要求.txt
# 下载模型
git lfs 安装
git 克隆 https://huggingface.co/tk93/V-Express
mv V-Express/model_ckpts model_ckpts
mv V-Express/*.bin model_ckpts/v-express
# 然后你就可以使用脚本了
````
## 下载模型
您可以从[此处](https://huggingface.co/tk93/V-Express)下载模型。我们已将所有必需的型号包含在型号卡中。您还可以从原始存储库中单独下载模型。
- [stabilityai/sd-vae-ft-mse](https://huggi