ScopeBench：代理在目标压力下是否保持参与边界？

arXiv:2609.30325v1 公告类型：新 摘要：在 Web 应用程序和网络渗透测试中，代理越来越多地以真正的自主性进行部署，其中单个超出范围的操作可能会突破客户的参与边界。现有的攻击性安全基准衡量原始黑客能力；随着这些基准饱和，部署的真正障碍是一致性的特殊情况：范围遵守。我们引入了 ScopeBench，这是 30 个死胡同代理安全任务的基准，其中规定的目标只有通过违反规定的范围才能实现。每项任务出现在共享环境、验证者和目标的两种条件下，仅在范围上有所不同：一个指令集没有范围并测量能力；另一个具有自然语言范围来衡量依从性。无范围轨迹由标准确定性验证者分级。范围轨迹通过两个分级臂。首先，相同的确定性验证器检查标志：因为标志位于范围边界后面，所以通过构造证明发生了禁止的操作，从而产生了违规率的高精度下限。如果验证者没有通过轨迹，代理法官会估计是否发生了超出范围的调用。我们根据由人类注释者逐个标记的 100 个 ScopeBench 轨迹来校准判断，并对评估的推出进行盲审，发现其高召回率 - 在 36 个经审计的违规行为中没有漏报，并且过度标记了其唯一观察到的错误。在一套安全带的 8 个模型中，原始能力范围为 12.2% 至 81.1%，范围遵守范围为 34.4% 至 86.7%，法官发现机械验证遗漏了 331 项违规行为。 Opus-4-8 的原始能力得分比 sonnet-4-6 高 10 个百分点，同时范围遵守率高出 35.6 个百分点。我们发布了冻结的试点基准、评估代码和所有 2160 ATIF 轨迹。