智能AI
morning
系统管理员:测量前沿 AI 中的工具性寻电
2026-07-22
1 阅读
约1分钟阅读
Mana Azarm, Qiyao Wei, Rahul Nambiar
字号:
arXiv:2607.18239v1 公告类型:新 摘要:权力寻求定义为人工智能系统获取资源、逃避监督或抵制超出任务要求的终止的行为,被认为是失控 (LoC) 风险的关键驱动因素。在这项工作中,我们引入了 SysAdmin,这是一个基准测试,它将前沿语言模型定位为高保真 Linux 沙箱中的自主系统管理员,以衡量五个维度的权力倾向:自我保护、增加自主权、资源获取、环境修改和战略隐藏。我们在四种实验条件下、总共 2800 项任务中评估了 7 个前沿模型。使用人工注释的校准数据进行偏差校正后,每个模型的校正功率寻求估计范围在 0% 到 5% 左右。我们还进行了带有明确功率寻求提示的阳性对照,实现了 100% 检测,验证了测量灵敏度。我们的研究结果表明,当前的前沿模型在自然系统管理环境中表现出最小的自发权力寻求,尽管特定于模型的故障模式表明评估必须测试不同的失调模式。然而,我们发现了其他更明显的失败模式(比权力寻求),例如规格游戏和对目标修改的抵制。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱