扩散语言模型：实验分析

arXiv:2606.19475v1 公告类型：新 摘要：大型语言模型 (LLM) 通过自回归生成彻底改变了语言建模，在各种任务中实现了强大的性能。最近，扩散语言模型（DLM）作为一种替代范式出现，它通过迭代去噪而不是下一个标记预测来生成文本，从而允许并行细化整个序列。虽然已经提出了许多基于扩散的架构，但评估协议、数据集、推理预算和生成超参数的差异使得很难比较它们的功能并理解它们提供的权衡。在这项工作中，我们对现代 DLM 进行了系统的实验分析。具体来说，我们跨推理、编码、翻译、知识和结构化问题解决的八个基准评估了八个最先进的 DLM，同时明确考虑生成质量和计算效率。除了下游评估之外，我们还分析了关键推理时间因素的影响，包括去噪步骤、上下文长度、块大小和并行揭露策略，并通过在相同条件下训练的较小模型的受控比较来补充大规模实验。我们的分析强调了跨不同任务、架构和推理预算的基于扩散的语言建模的优点和局限性。我们表明，DLM 的行为受到生成时设计选择的强烈影响，导致性能和计算效率之间的明显权衡。总的来说，我们的研究提供了对当代 DLM 的功能和部署特征的实用见解。