Harbor Adapters 和 Harbor-Index：用于大规模代理评估的基础设施和精选元数据集

arXiv:2609.04298v1 公告类型：新 摘要：在越来越多的代理基准上评估代理具有挑战性，因为它们通常需要复杂的环境和代理集成。我们引入了 Harbor Adapters，这是一个用于代理基准的统一评估基础设施。我们的工作做出了三个贡献。首先，我们开发了基准适配器，可移植 80 多个基准来评估任意代理，并通过严格的代码审查和奇偶校验实验来验证它们。其次，我们对跨越 54 个基准的能力层级的 8 个模型进行了大规模评估；每个模型均使用 Terminus-2 和 3 个原生线束之一运行。这使得能够比以前更广泛地分析代理功能和故障模式。第三，我们介绍了 Harbor-Index，这是一组精选的 82 个困难、多样化和高质量的任务，涵盖 29 个基准，通过难度过滤、人工智能和人工审核以及审核和修复循环从适应套件中进行了改进。 Harbor-Index 保留了大规模代理评估的挑战和广度，同时运行成本低廉；评估的模型线束配置没有超过 30% 的通过率，最强的（GPT-5.5 with Codex）达到 28.0%。我们将适配器、评估结果、深入分析和 Harbor-Index 作为开源工件发布，以支持对语言模型代理进行更可靠、更全面的评估。