下一代概念建模：快速、并行的粗到细文本生成

[提交于 2026 年 10 月 9 日] 标题：下一代概念建模：快速、并行从粗到细的文本生成 作者：Hermann Kumbong、Ishan S. Khare、Iddah Mlauzi、Andrew Woen、Charles Ding、E. Kelly Buchanan、Simran Arora、Azalia Mirhoseini、Christopher Ré 查看 PDF HTML（实验）摘要：扩散语言模型（DLM）提供并行采样，比自回归模型更快地生成，随着推理成为主要的计算工作负载，这是一个越来越重要的优势。然而，DLM 在采样步骤较少的情况下会快速退化，每一步都处理完整序列，并且需要多次遍历数据集才能达到良好的质量。我们引入了下一概念建模 (NCM)，这是一个两阶段、从粗到细的框架：多尺度残差 VQ-VAE 将文本编码为离散代码的层次结构，变压器一次生成一个级别，并行预测该级别内的所有代码。在匹配的参数尺度下，NCM 比 LM1B 上最强的 DLM 基线实现了更好的生成困惑，同时运行速度快了 21 倍。在 OpenWebText 上，NCM 可以与最强的 DLM 竞争，同时运行速度快 10 倍；在 XSum 上，它与最强的 DLM 的 ROUGE-L 相匹配，同时速度快 31 倍。在数独推理任务中，NCM 在所有难度级别上都优于自回归和扩散基线，并且使用更少的函数评估。在数独推理任务中，NCM 在所有难度级别上都优于自回归和扩散基线，并且使用更少的函数评估。