通过最终代币偏好优化减少 Doom 循环

厄运循环是推理期间常见的失败模式：模型发出一个跨度（通常类似于“等等，让我重新考虑……”），然后一次又一次重复相同的跨度，直到上下文窗口耗尽。小型推理模型更容易出现这种行为，尤其是在较长的思维轨迹和难题上[1]。常用的推理时间修复方法是应用repetition_penalty 来重新加权输出分布。然而，这是一个创可贴解决方案，可能会降低性能。强化学习可以针对重复循环，但它通常需要仔细校准奖励和昂贵的在线部署。我们的方法采用更有针对性的方法。我们识别开始循环的确切标记，训练模型在该单个位置更喜欢连贯的替代方案，并保持分布的其余部分基本不变。该方法采用 Antislop [2]，使用最终令牌偏好优化 (FTPO) 对代表单个完成令牌的选择/拒绝对进行训练。我们将我们的方法称为“Antidoom”。在 LFM2.5-2.6B 的早期检查点上，完成硬数学和编码提示的 10.2% 会产生重复循环。 Antidoom 训练后，该比率下降至 1.4%，由于循环减少的直接结果，评估分数全面提高。末日循环的剖析 末日循环可以在三种机制共同作用的推理中出现： 机制 1：过度训练的标记 + 不确定性 词汇表中的某些标记通常更有可能被选择。众所周知的例子包括“delve”和“testament”。如果模型的训练集中使用合成数据，则可能会发生这种情况，从而创建比人类书写中通常出现的更高的这些单词的分布。在推理模型中，高优先级延续通常包括话语标记和自我反思标记，例如“等待”或“替代”。这些标记不一定是坏的，并且可以标记有用的策略更改、验证步骤或推理跟踪中的分支。然而，当模型不确定或陷入困境时，它们可能会成为有吸引力的后备延续，重新启动相同的局部推理模式，而不是帮助模型取得进展。对于 LFM2.5-2.6B 的早期检查点，开始末日循环的最常见令牌是： count share token 2277 11.39% ' the 902 4.51% ' So' 644 3.22% 'Alternatively' 511 2.56% 'Wait' 493 2.46% 'But' 当模型不确定时，这些过度训练的标记在下一个标记分布中占主导地位，这似乎就是为什么循环最常出现在困难数学和编码问题的推理轨迹中的原因。先前的工作 [4,5] 对退化给出了类似的解释：似然训练模型可以过度分配重复和频繁单词的概率，而推理模型在无法识别有用的下一步时可以在低温解码下循环，而是回退到重复。机制 2：先验上下文强化了循环。较早的序列使相同的序列更有可能在以后出现。随着每次重复，循环范围内每个标记的概率都会向 1 攀升。 Duan 等人。 [6] 在他们的循环推理工作中研究了这种循环。他们将其与“V 形”注意力模式联系起来，并发现语义重复（模型陷入某个想法）先于文本重复（输出中出现相同的单词）。机制 3：贪婪采样 推理模型通常在低温下运行，以便迹线保持稳定且可重现。在温度为 0 时，始终选择最可能的令牌，并且局部强化循环没有出口。理论上，较高的温度会有所帮助，但一旦机制 2 将循环标记的概率推向接近 1，则几乎没有概率分配给剩余的词汇，因此在较高的温度下采样仍然会陷入循环（我们的结果显示，即使在 temp=0.67 时，也会出现显着的循环）。温度越低，循环就越加剧。定位故障 为了构建有针对性的训练集，我们在旨在引发低温循环（LiquidAI/antidoom-mix-v1.0）的提示混合上生成补全，然后挖掘故障。如果某个部分重复至少四次且超过至少 60 个字符，则在样本中检测到循环。在实践中，这些限制有助于避免误报和漏报。一旦识别出循环序列，我们就定位第一个重复的第一个标记。在该位置，我们采用基本模型的前 k 个对数概率替代方案，过滤掉短的或非字母数字的噪声，并保留最多 20 个合理的替代方案作为所选标记。每个训练行由一个[提示前缀、一个拒绝的标记、一个或多个选择的标记]元组组成。然后，我们在训练之前对拒绝和选择的分布进行正则化：否则一小部分罪魁祸首（等等，所以，）将占据主导地位，并且过度抑制它们会降低推理能力。最终令牌偏好优化 最终令牌偏好优化 (FTPO) 是一种偏好优化算法 si