部分证据基准：代理系统中授权有限证据的基准测试

arXiv:2605.05379v1 公告类型：新 摘要：企业代理越来越多地在范围检索系统、委托工作流程和策略约束的证据环境中运行。在这些设置中，可以正确实施访问控制，同时系统仍然会生成看起来完整的答案，即使物证位于调用者的授权边界之外。本文介绍了部分证据基准，这是一种用于测量故障模式的确定性基准。该基准包含三个场景系列——尽职调查、合规审计和安全事件响应——总共 72 个任务、ACL 分区语料库、Oracle 完整答案、Oracle 授权视图答案、Oracle 完整性判断和结构化差距报告 Oracle。它从四个方面评估系统：答案正确性、完整性意识、差距报告质量和不安全的完整性行为。签入的基线表明，静默过滤在所有已发布的系列中都是灾难性的不安全，而明确的失败和报告行为消除了不安全的完整性，而不会将任务折叠成微不足道的弃权。初步的真实模型运行显示了模型相关和场景敏感的差异，即系统是否过度声称完整性、保守地低估或以企业可用的形式报告不完整性。该基准的更广泛的贡献是使治理关键代理故障可以在没有人类法官或容易受到污染的静态语料库的情况下进行测量。