信任但验证：为离散扩散设计区域非均匀前向动力学

arXiv:2610.22380v1 公告类型：new 摘要：连续扩散将前向过程视为设计空间；离散语言传播通常使用吸收腐败，使上下文在整个世代中得到充分信任。这使得信任成为二进制的：损坏的上下文被复制为基本事实，将错误传播到生成的跨度中。我们通过将吸收和均匀混合内核与区域相关速率相结合来重新打开这个设计空间。缺失的位置遵循吸收动态，而上下文经历低速率随机替换，使模型在训练期间暴露于观察到但不确定的标记。在推理时，启发式采样器在退火强度下将噪声重新注入可疑上下文，并在轨迹后期冻结上下文更新。在 6 GB 笔记本电脑 GPU 上，对预训练的 170M 参数掩模扩散模型进行 8,000 步微调只需不到 5 个小时。基本模型为观察到的标记分配大约 50% 的概率，即使它们是均匀随机的垃圾。对于均匀随机损坏，微调以 0.96 的召回率和 0.91 的精度检测损坏的上下文，在 10% 损坏时将填充令牌 F1 提高 3.8 个点，在 20% 时将填充令牌 F1 提高 6.4 个点，并消除损坏旁边的准确度下降。 Clean Conditioning 没有显示出可测量的回归，错误编辑率低于 0.4%。看似合理的腐败的收益较弱：10% 腐败时约 0.5 F1 点，没有统计显着性。我们的结果表明，可检测性和损害共同取决于对数据条件的偏离：附近的噪声难以检测且语义上温和，而远处的噪声则引人注目且具有破坏性。我们将吸收扩散解释为信任轴的无限对比度限制，类似于扩散修复中已知区域和未知区域之间的信噪比差距。在我们设置 170M 模型和单个文本域时，中间信任是通过改变前向动态而不是架构来实现的。