SlackBench：基于真实代码存储库的协作项目的基准测试代理

arXiv:2611.05512v1 公告类型：新 摘要：人工智能代理正在成为数字同事，可以浏览网络、编写代码、运行实验并在更广泛的范围内帮助人类。然而，现有的基准缺乏真正的知识工作：许多基准依赖于合成数据或孤立的任务，缺少协作项目的复杂、多方动态，其中关键信息分散在对话、代码和不断变化的决策中。即使是简单的工作场所问题也可能需要找到相关渠道和直接消息，从长时间的讨论中恢复上下文，检查存储库状态，协调陈旧或相互冲突的证据，以及跨来源进行综合。我们引入了 SlackBench，这是一个用于评估代理在现实研究和工程工作流程中的基准，这些工作流程需要对工作场所通信和不断变化的存储库状态进行联合推理。 SlackBench 以真实学术研究项目的隐私保护重演为基础，提供可重现的环境，包括现实的多方对话、不断发展的决策以及基于 GitHub 存储库和 Google Docs 的相应代码更改。它包含 140 个查询，涵盖异构源代理搜索、对无法回答或错误前提问题的弃权、目标导向总结以及长时间对话的情况推断。这些任务不能简化为静态语料库问答：代理必须确定哪些对话重要、遍历线程、检查存储库状态以及跨通信和代码工件综合证据。在 33 个前沿模型和代理工具中，最好的系统得分约为 80%，大多数代理得分低于 66%，这凸显了巨大的改进空间。因此，SlackBench 提供了一个可扩展的框架，用于评估协作工作环境中的代理。 SlackBench 数据集可在 https://huggingface.co/datasets/HuanzhiMao/SlackBench 获取。