首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

思想链可控性会降低思想链可监控性

2026-11-18 1 阅读 约1分钟阅读 Zheng-Xin Yong, Benjamin Arnav, Miles Wang, Tomek Korbak, Olivia Watkins
分享:
字号:
arXiv:2611.21799v1 公告类型:新 摘要:思想链 (CoT) 监控是一种很有前途的工具,用于检测人工智能代理中的隐藏目标、偏离任务行为和其他故障。一个风险是模型可能会故意塑造他们的推理,使其对监视器来说不透明。我们通过角色控制训练对这种风险进行压力测试:对用不同角色的声音重写的数学推理轨迹进行监督微调。即使训练不包含监控规避示例,这也会带来更广泛的控制 CoT 的能力。在隐蔽副任务评估中,gpt-oss-20b 模型生物体完成隐藏副任务的痕迹包含的可监控证据少于基本模型的证据。对评估和 CoT 长度进行平均,并按副任务成功计数进行加权,CoT 可监控性指标 g-mean$^2$ 从基础模型的 0.94 下降到没有隐藏指令的模型生物体的 0.68,并在明确指示隐藏时下降到 0.22。在干预评估中,显式隐藏通常会使可监控性接近于零。该效果扩展到代理环境中的 Kimi-K2.6 模型生物体,尽管需要扩展推理或更长轨迹的隐藏目标仍然比简单的单步副任务更容易监控。我们进一步发现,有针对性的透明度提示可以显着恢复可监控性,有时甚至超越基本模型。这些模型生物为研究可监测性故障和潜在的缓解措施提供了一个测试平台。我们的代码可以在 https://github.com/yongzx/cot-control-model-organism 上找到。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱