扩散模型的校正训练

arXiv:2610.14136v1 公告类型：新 摘要：扩散模型中的迭代采样可能会因曝光偏差而导致误差累积。降噪器是在插有噪声的真实图像上进行训练的，但在推理时，它的输入是根据其自己在早期步骤中的不完美预测构建的，这是它在训练时从未见过的。这可能是扩散模型在没有额外帮助（例如 CFG）的情况下经常陷入困境的原因之一。我们引入了扩散模型的校正步骤，试图减少这种训练与推理的差距。校正器将基本模型的预测作为输入，并针对相同的地面实况目标进行训练。这使得校正成为一项明确的学习任务，并由基础模型提供训练输入。在采样期间，在每个去噪步骤中，我们迭代地细化去噪器的干净样本预测。这使我们能够纠正中间去噪步骤的预测，防止早期伪影持续到最终样本中。尽管校正器仅根据基础降噪器的预测进行训练，但它可以在推理时重复应用于其自己的输出，以获得更好的结果。这个简单的框架可以显着提高样本质量，同时很大程度上保留多样性。我们通过 DiT、SiT 和 JiT 评估我们的方法。我们的方法大大改进了之前报告的无引导生成（尤其是无条件生成）的 FID 分数，在无引导生成高质量样本的情况下尤其具有挑战性。我们的方法实现了与无分类器引导 (CFG) 相媲美的性能，并且将校正与 CFG 相结合进一步提高了多样性并减少了 CFG 典型的过饱和现象。最后，我们表明，可以通过将精炼的预测提炼回基础扩散模型来摊销校正的额外推理成本，从而在不增加推理时间开销的情况下保留质量增益。