首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

审计员努力发现人工智能安全研究端到端记录中的破坏行为

2026-11-18 1 阅读 约1分钟阅读 Keshav Shenoy, Anthony Zang, Eric Gan, Jacqueline Tay, Amy Ngo, Sebastian Prasanna, Julian Stastny, Vivek Hebbar
分享:
字号:
arXiv:2611.21832v1 公告类型:新 摘要:随着人工智能系统越来越多地用于自动化人工智能研发,未对准的系统可能会破坏旨在提高模型安全性和一致性的研究。为了对针对此类破坏的防御进行压力测试,我们使用人类专家作为人工智能安全研究的代理破坏者。我们进行了红队/蓝队游戏,其中人类研究人员从头开始运行人工智能安全实验,审计员试图判断哪些被破坏以及如何被破坏。由于能够获得完整的研究记录并能够进行实验,人类审计员大多无法区分破坏性研究和良性研究:他们的 AUROC 为 0.59,并不明显优于偶然性,并且仅在 17% 的情况下完全识别出特定的破坏行为。尽管不允许进行实验,但最好的前沿模型在噪声中的表现优于人类审计员(《寓言 5.1:AUROC 0.73,32% 完全识别)》,而较弱的模型表现也相当。当破坏者选择攻击哪些实验,而不是被要求破坏给出的每个问题时,破坏识别率会进一步下降。我们的研究结果表明,利用当前的审计方法很难检测到专家级特工的研究破坏行为,并为研究破坏行为提供了新的环境。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱