首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

与反思推理保持一致:学习如何遵循原则

2026-11-16 1 阅读 约1分钟阅读 Henry Bell, Caroline Zhang, Dhaval Potdar, Mohammed Mobasserul Haque, Brandon Fain
分享:
字号:
arXiv:2611.17398v1 公告类型:新 摘要:大型语言模型 (LLM) 协调的适当管理规范和原则通常取决于文化背景和部署应用程序。然而,大多数对齐技术侧重于训练模型,以符合训练时指定并随后固定的人类偏好或宪法原则。在实践中,许多部署者依靠系统提示在推理时实施上下文规范和护栏。先前的工作表明,与简单的系统提示相比,带有批评和修正的后生成反思推理可以提高一致性,但此类方法仅限于训练模型固有的推理能力。我们引入了反思推理,这是一种训练方法,教导模型如何推理与原则的一致性,而不是简单地遵循哪些原则。在五个模型中,反射推理始终优于上下文反射推理的系统提示和显式提示策略。这些改进延伸并推广到完全不属于分布范围的医疗和金融原理领域。我们还证明,反思推理可以减少罕见但严重违反原则的情况的发生。最后,我们证明反射推理不会削弱模型的安全工程,并且对于使用对抗性构成的越狱尝试具有鲁棒性。总的来说,我们的结果表明,反射推理是一种可扩展的方法,用于将宪法对齐训练为可概括的推理能力,使模型能够适应新颖的原则并产生透明的推理轨迹,而无需额外的微调。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱