不中断的转向：离散扩散语言模型的机械知情干预

arXiv:2605.10971v1 公告类型：新 摘要：离散扩散语言模型 (DLM) 通过并行迭代地对所有位置进行去噪来生成文本，提供自回归模型的替代方案。从自回归模型导入的 DLM 受控生成方法在每个去噪步骤中应用统一的干预。我们表明，这种统一的时间表会降低质量，并且当联合控制多个属性时，损害会加剧。为了诊断故障，我们在四个 DLM（124M-8B 参数）上训练稀疏自动编码器，并发现不同的属性按不同的时间表提交，在时间、清晰度和幅度上有所不同。例如，主题在去噪的前 2% 内发生，而情绪在整个过程的 20% 以上逐渐出现。因此，统一干预会浪费对目标属性已经固化或尚未出现的步骤的指导能力。我们提出了一种新颖的自适应调度程序，它将干预集中在属性正在积极形成的步骤上，而其余的生成过程则保持不变。成本控制权衡承认封闭形式的特征：自适应调度相对于统一调度的优势由承诺分布的单个离散统计量控制。在四个 DLM 和七个转向任务中，我们的方法实现了精确控制，而没有统一干预典型的退化。特别是在具有挑战性的同时三属性控制方面，它的转向强度高达 93%，比最强基线高出高达 15%，同时保持生成质量。