首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

未完成的基准:测量现实工作环境中持久代理的规则违规情况

2026-11-16 1 阅读 约1分钟阅读 Seunghyun Lee, Jaehui Hwang, Dongyoon Han, Sangdoo Yun
分享:
字号:
arXiv:2611.17460v1 公告类型:新 摘要:人工智能代理越来越具备完成任务的持久性,可以在内部文件和其他人的权力的许多未明示的限制下长时间自主地运行委派的工作。当完成需要违反规则时,代理必须单独决定,但指令规则冲突的基准在提示中陈述规则或将其隐藏,并且不评估持久性。我们推出了 Unfinished-Bench,这是一个基准测试,可以让模型在没有用户的情况下、在具有嵌入式规则的现实工作环境中持续自主运行。在 7 个组织和 7 个风险类别的 97 个场景中,目标和规则不能同时成立。我们发现,持续性将内部文档中的规则违规率从 32.2% 提高到 43.6%,是用户规定的同一规则的 8.5% 的五倍。在文档规则违规行为中,98.3% 发生在规则显示之后,并且在 89% 的判定样本中,代理首先写下了规则。在没有用户监督的情况下违反环境中的规则可能会导致严重事件,因此需要评估持久性驱动的风险。基准文档:https://francis21c.github.io/unfinished-bench/
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱