GitHub 项目:img2img-turbo
仓库地址:https://github.com/GaParmar/img2img-turbo
星级:2440 | 作者:加帕尔玛
项目描述:使用稳定扩散涡轮的一步图像到图像:sketch2image、day2night 等
===================================================
自述文件内容:
# img2img-turbo
[**论文**](https://arxiv.org/abs/2403.12036) | [**Sketch2Image 演示**](https://huggingface.co/spaces/gparmar/img2img-turbo-sketch)
#### **快速启动:** [**本地运行**](#getting-started) | [**Gradio(本地托管)**](#gradio-demo) | [**训练**](#training-with-your-own-data)
### 猫素描
### 鱼素描
我们提出了一种通过对抗性学习使单步扩散模型(例如 SD-Turbo)适应新任务和领域的通用方法。这使我们能够利用预训练扩散模型的内部知识,同时实现高效的推理(例如,对于 512x512 图像,A6000 上为 0.29 秒,A100 上为 0.11 秒)。
我们的一步条件模型 **CycleGAN-Turbo** 和 **pix2pix-turbo** 可以针对未配对和配对设置执行各种图像到图像的转换任务。 CycleGAN-Turbo 优于现有的基于 GAN 和基于扩散的方法,而 pix2pix-turbo 与最近的作品(例如 Sketch2Photo 和 Edge2Image 的 ControlNet)相当,但具有一步推理功能。
[使用文本到图像模型的一步图像翻译](https://arxiv.org/abs/2403.12036)
[Gaurav Parmar](https://gauravparmar.com/)、[Taesung Park](https://taesung.me/)、[Srinivasa Narasimhan](https://www.cs.cmu.edu/~srinivas/)、[Jun-Yan Zhu](https://github.com/junyanz/)
卡内基梅隆大学和 Adobe,arXiv 2403.12036
## 结果
### 与 pix2pix-turbo 配对翻译
**边缘到图像**
### 生成不同的输出
通过改变输入噪声图,我们的方法可以从相同的输入条件生成不同的输出。
可以通过更改文本提示来控制输出样式。
### 使用 CycleGAN-Turbo 进行不配对翻译
**日复一日**
**日复一日**
**晴转雨**
**有雨到晴**
<小时>
## 方法
**我们的生成器架构:**
我们将原始潜在扩散模型中的三个独立模块紧密集成到具有较小可训练权重的单个端到端网络中。这