不要责怪偏好：审视法学硕士培训中阿谀奉承的出现

arXiv:2611.10045v1 公告类型：新 摘要：人工智能阿谀奉承是大型语言模型 (LLM) 奉承用户并肯定其信念的倾向，可能会破坏准确性并导致错误信息、依赖和过度自信。尽管之前的工作已经对发布的模型和提议的缓解措施中的阿谀奉承进行了基准测试，但其在训练期间的起源仍然知之甚少。 RLHF 和 DPO 等偏好对齐方法经常受到指责，但很少将其效果与早期训练阶段进行比较。我们调查了三个模型系列和三个基准的训练流程中的阿谀奉承情况。我们发现，阿谀奉承很大程度上是在监督微调（SFT）结束时建立的，而不是通过偏好调整引入的。在所有九个模型基准组合中，SFT 检查点获得至少 92% 的偏好对齐模型的阿谀奉承分数和至少 85% 的最终模型分数；平均而言，它们与最终模型一样阿谀奉承。偏好调整仅在 9 个案例中的 4 个案例中增加了阿谀奉承，平均增加了 4.2 个百分点。为了探究根本原因，我们使用机械可解释性来分离与阿谀奉承相关的模型表示，并测量它们在每个阶段的训练数据集上的激活。 SFT 数据集显示出与其他训练数据大致相同的平均激活值，但贡献了更多的示例，并且得分最高的单个数据集均来自 SFT。我们的研究结果表明，解决阿谀奉承问题需要在整个培训流程中进行干预，特别是在预训练和 SFT 的数据选择和增强方面。