首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

训练内省监督的语言模型

2026-11-19 1 阅读 约1分钟阅读 Alex Lin Wang, Linus Yifeng Tang, Dami Choi, Neil Chowdhury
分享:
字号:
arXiv:2611.23365v1 公告类型:新 摘要:语言模型越来越多地表现出在文本中难以检测到的行为,例如奖励黑客、欺骗和阿谀奉承。向助手询问有关其行为的后续问题是不可靠的,因为模型通常没有接受过报告自己不当行为的训练。因此,监督方法通常涉及查询外部模型。这些面临局限性:外部转录本监控仅对可见模型输出进行操作,并且激活解码器缺乏完整的上下文并且容易混淆。我们引入了内省监督,它在模型中训练一个新角色来回答有关助手的任意问题,并奖励根据助手的实际行为验证的答案。我们通过添加一个单独的第三人称观察者角色来回答这些查询来实现这一点,我们可以仅针对准确性进行训练,并且与助手分开。在五次持续的监督评估中,接受 Qwen3.6-27B 训练的观察者获得的平均 AUROC 为 0.907,优于诚实训练 (0.864)、成绩单监控 (0.828) 和激活预言机 (0.796)。我们进一步发现,训练观察者使助手本身更容易监控,当应用于微调助手时,每种基线方法平均得到改进。这些结果表明,训练模型来回答有关自身的可验证问题是监督意外行为的一种易于处理的方法。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱