TILT：通过模型内在奖励改进扩散模型中的组合生成

arXiv:2607.21606v1 公告类型：新 摘要：强大的文本到图像生成模型的最新进展使得开发测试时方法变得越来越重要，这些方法可以修改采样轨迹以生成更忠实于复杂构图提示的图像。我们提出了 TILT，这是一种无需训练的框架，用于通过测试时奖励对齐生成组合文本到图像。我们将组合失败解释为联合分布和单一概念分布之间的重叠模式，并定义有利于所有概念共同存在的样本的奖励。这种奖励是基本模型固有的，不需要任何外部监督或奖励模型。这产生了一个 KL 约束的目标，具有封闭形式的倾斜目标分布和扩散采样的原则指导步骤。概念分布与上述奖励的相互作用自然会导致两种不同的指导策略，而平衡各自利益的混合方法会产生更强的性能。 T2ICompBench 提示的实验表明，与之前的基线相比，我们的方法改进了构图对齐，同时保持了图像质量。