智能AI
morning
DNeo:您的并行草稿模型需要更好的目标特征编码
2026-11-18
1 阅读
约1分钟阅读
Jameson Sandler, Shane Bergsma, Mostafa Elhoushi, Bin Claire Zhang, Gavia Gray, Joel Hestness, Nolan Dey, Ferdinando Fioretto
字号:
arXiv:2611.21925v1 公告类型:新 摘要:推测扩散解码使用小型并行起草模型在一次前向传递中生成 b 个草稿令牌,然后通过更大的目标模型进行并行验证。当多个草稿令牌同时通过验证时,可以实现更快的推理。最近的并行草稿架构(DFlash、DSpark)通过一种称为特征编码的机制对目标计算的丰富特征进行调节,从而提高草稿质量。然而,标准特征编码机制具有三个局限性:(1)它们是有损的,通过一种被称为残差混合的发现效应应用对底层目标特征空间具有破坏性的编码投影,(2)它们是无记忆的,没有先前处理的提案的记录,(3)它们利用从目标层均匀采样的特征,省略了重要的隐藏状态。为了解决这些问题,我们提出了混合特征注意力(MoFA),这是一种轻量级的特征编码方法,配备了一个工作记忆,可以对之前被拒绝的提案进行编码。利用 MoFA、拒绝内存和一系列进一步的增强功能,包括 2-tap 因果卷积、仅前缀交叉注意和非均匀目标层选择,最终架构 DNeo 的生成速度比 SoTA (DFlash-2) 快 1.3 倍,而不影响绘图器占用空间或生成质量。 DNeo 标志着高质量、快速的 LLM 推理的最新技术水平。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱