Long-Horizo​​n-Terminal-Bench：通过基于密集奖励的评分来测试智能体在长视野终端任务上的极限

arXiv:2607.08964v1 公告类型：新 摘要：人工智能代理已经能够自主完成简短、明确的任务。然而，现有的终端基准测试主要关注在几分钟内完成的简单问题，并且仅根据最终结果进行评估。这种设置忽略了中间进度和部分解决方案，产生稀疏的奖励信号和代理能力的不完整图片。我们推出了 Long-Horizo​​n-Terminal-Bench，这是一个涵盖 9 个类别的 46 个长视野任务的终端基准，包括实验再现、软件工程、多模态分析、互动游戏和科学计算。每个任务都遵循带有参考解决方案或模拟引擎的终端工作台式设置，但进一步分解为细粒度的分级子任务。这种设计可以实现密集的中间奖励和部分信用，从而使评估不仅可以捕获代理是否达到最终目标，还可以捕获它在开放式工作流程中的进展情况。 Long-Horizo​​n-Terminal-Bench 中的任务通常需要数百个情节和几分钟到几小时的执行，强调长期规划、长期上下文管理和迭代调试，而不是一次性解决问题。我们评估了 15 个前沿模型，发现代理平均每个任务消耗 990 万个代币，每次运行大约 231 个情节和 85.3 分钟的执行时间，使得 Long-Horizo​​n-Terminal-Bench 比之前基于终端的基准测试要求更高。即使是最强大的测试模型，在部分奖励阈值为 0.95 时也能达到 15.2% 的通过率，在完美奖励阈值为 1.0 时也能达到 10.9%，而在这两个阈值下，各模型的平均通过率分别为 4.3% 和 1.7%。这些结果揭示了改进的空间。我们进一步分析故障模式和错误模式，并发布 Long-Horizo​​n-Terminal-Bench 以支持长视野终端代理的未来进展。