连续扩散语言模型 (CDLM)

经过几年的相对休眠之后，最近语言连续扩散模型领域的一系列活动表明这种方法正在卷土重来。完全离散的扩散方法在很大程度上取代了早期对语言进行连续扩散的尝试，但潮流正在开始转变。在这篇文章中，我想仔细看看正在发生的事情以及为什么会发生这种情况。最近该领域新研究的涌入激发了我写下一些想法。我之前写过关于扩散语言模型的文章，所以这主要是作为更新，涵盖此后发生的所有事情。这将是一个相当主观的叙述——非常欢迎在评论和其他地方提出其他观点和不同意见！稍后我将讨论语言持续传播的一些技术方面，但首先是一些历史背景。挑战自回归霸权 现代语言模型总的来说是自回归的：它们一次生成一个标记的序列。这是将困难的生成任务自然分解为更小、更容易的顺序步骤。所有步骤都是同一基础任务的实例（根据前面的标记预测标记），这使得能够在序列维度上共享参数。尽管存在这种固有的顺序生成过程，但 Transformer 架构允许使用教师强制在所有序列位置上进行高效的并行训练。事实证明，这是一个极其可扩展的秘诀，它为我们带来了大型语言模型（LLM）。然而，自回归并不是构建序列迭代生成过程的唯一方法。受到视听领域早期成功的启发，研究人员试图将扩散应用于语言生成。扩散模型的生成过程不是一次生成一个元素的序列，而是通过逆转逐渐破坏信息的损坏过程来定义。做到这一点的规范方法是一点一点地添加高斯噪声，直到它完全压倒信号。 2021 年：早期离散扩散模型继 2019 年和 2020 年在图像生成方面取得早期成功之后，将这一想法应用于语言的第一次尝试于 2021 年到来，其中包括用离散过程取代连续损坏过程，以实现分类数据的建模：多项式扩散、D3PM 和 SUNDAE。当时，自回归的主导地位并不像今天这样牢固：GPT-3 已经吸引了一些人的注意，但“ChatGPT 时刻”直到 2022 年末才到来。当时，离散扩散似乎解决了自回归范式中的一些真正的理论缺陷，例如由于教师强制导致的暴露偏差，以及将其应用于填充和约束生成任务的相对困难。请注意，在前几年中已经对非自回归和任意阶自回归方法进行了一些探索（特别是对于机器翻译），但尚未从扩散的角度进行探索。 2022 年：离散数据的连续扩散 2022 年，出现了将连续扩散应用于语言建模的几种尝试，从 Diffusion-LM 开始。这种方法以不同的方式解决了分类数据和高斯噪声损坏之间的不兼容性：简单地用连续嵌入向量表示离散类别，这完全适合高斯噪声损坏。这样，就可以应用对图像非常有效的高斯扩散机制，而无需进行任何更改。 Diffusion-LM 特别强调了这种替代生成范式在可控文本生成方面的优势。在 2022 年的最后几个月，发表了很多使用这种方法变体的其他论文，包括 DiffuSeq 、 SSD-LM 、 Difformer 、 SeqDiffuSeq 、 GENIE 、 LD4LG 以及我参与的两篇论文：自条件嵌入扩散（SED）和分类数据连续扩散（CDCD）。当时，这些连续方法的吸引力在于，它们可以从为持续传播而发现和开发的所有见解、工具和机制中受益，因为它完全接管了视听生成。例如，将为连续扩散模型开发的一些采样和蒸馏技术应用于离散扩散通常要困难得多，甚至根本不可能。 2023 年底：持续灭绝然后，有趣的事情发生了：2023 年之后，该领域几乎所有新研究都使用离散扩散，而语言的连续扩散消失了。 2025 年关于扩散语言模型的调查论文的图表清楚地表明了这一点：连续方法用黄色标记，离散方法用绿色标记。从 2023 年到 2024 年的转变非常明显！很难确定为什么会发生这种情况，但我可以想到一些潜在因素