DC-Leap：通过草案引导的连续跳跃解码实现 dLLM 的免训练加速

arXiv:2607.20467v1 公告类型：新 摘要：虽然并行解码对于扩散大型语言模型 (dLLM) 的效率至关重要，但当前的策略常常受到过于保守的置信阈值的阻碍。这些阈值是联合概率相关误差 (JPDE) 所必需的，会导致冗余的去噪迭代和次优的推理速度。为了克服这个问题，我们提出了 DC-Leap，这是一个无需培训的框架，可以在中等置信度的情况下可靠地加速 dLLM。 DC-Leap 引入了动态连续验证策略，将严格排序的因果约束集成到并行解码过程中。通过逐步验证令牌依赖性，该机制有效地中和了 JPDE，从而实现了具有可比性能的可靠加速。此外，DC-Leap 还采用了草稿引导解码机制，其中草稿通过跨越多个令牌向前跳跃来帮助扩展上下文，提供前瞻上下文并保留推理过程中双向注意力的结构优势。对标准基准测试的大量实验表明，DC-Leap 实现了显着的加速，在长序列生成的 MBPP 上最高可达 53.19 倍，与具有相当生成质量的 KV-Cache 结合使用时最高可达 105.02 倍。代码可在 https://github.com/ffh-wyls/DC-Leap 获取。