终端科学：评估科学研究工作流程中的人工智能代理

Terminal-Bench-Science 根据研究人员自己的工作流程评估人工智能代理。为人工智能科学能力设定标准的是科学家，而不是模型开发人员或数据供应商。 Terminal-Bench-Science 是由斯坦福大学研究人员领导的基准测试，由 Terminal-Bench 背后的团队与来自世界各地的一系列科学学科和研究机构的领域专家合作建立。它通过一系列具有挑战性的、专家策划的、源自科学研究的工作流程来衡量人工智能代理的能力。终端科学是一个持续的基准，与前沿人工智能一起发展，在科学需求和人工智能发展之间建立反馈循环。我们的第一个版本包括来自生命、物理、地球、数学和工程科学的 70 项任务。评估的最强模型 Claude Opus 5 在 Terminal-Bench-Science 0.1 上实现了 30% 的分辨率。终端科学 0.1 排行榜 0% 25% 50% 75% 100% Claude Opus 5 Claude Code 30.0% GPT-5.6 Sol Codex 22.4% Claude Fable 5 Claude Code 21.4% Claude Opus 4.8 Claude Code 10.5% GPT-5.6 Terra Codex 8.6% GLM 5.3 Claude Code 8.1% Kimi K3 Claude Code 7.1% Grok 4.6 Grok Build 7.1% GPT-5.6 Luna Codex 3.3% Terminal-Bench-Science 0.1 上 70 个科学工作流程任务的分辨率 虽然 Terminal-Bench 推动了软件工程人工智能代理的进步，但 Terminal-Bench-Science 也为科学带来了同样的雄心。我们的目标是推动具有科学能力的药剂的开发，使它们成为有用的研究助手。这些代理应该执行技术要求高且耗时的工作流程，使科学家能够将更多时间集中在人类判断最重要的科学部分：定义研究问题、形成假设、解释和验证结果以及交流发现。在这个角色中，人工智能代理可以扩展研究人员的成果并帮助加速科学发现。实现这一目标需要反映真实科学实践的基准，提供可验证的能力证据，并与人工智能前沿一起发展。我们需要从真实的科学工作流程中得出的基准。科学能力应该根据真实的研究实践来评估，而不是由实践科学家自己贡献的教科书问题或标准化练习。 Terminal-Bench-Science 为跨领域的科学家提供了直接的声音和共享平台，为人工智能在他们关心的问题上取得进展设定了标准。科学的赌注太高，其基准必须反映科学界的优先事项而不是外部利益。我们需要科学能力的可验证证据。如果没有可靠的评估，我们就无法判断代理的能力是否正在提高或者其局限性仍然存在。 Terminal-Bench-Science 在现实环境中评估代理，并通过可重复的、特定于任务的测试对分析、模拟、证明、代码和数据产品等具体工件进行评级。我们需要一个与前沿保持同步的基准。很多时候，科学基准被视为要发表的论文，而不是推动进步的机制。它们被发布一次，然后随着模型的进步和已知限制的持续存在而被放弃。终端基准科学是一个与人工智能前沿一起发展的持续基准。通过定期发布，科学家可以贡献新的工作流程，改进现有任务，并在科学需求和人工智能开发之间创建反馈循环。 Terminal-Bench-Science 反馈循环 科学社区前沿 AI 代理和模型 贡献工作流程 评估和改进 加速发现 Terminal-Bench-Science 反馈循环 Terminal-Bench-Science 0.1 包括涵盖生命、物理、地球、数学和工程科学的 70 项任务。任务涵盖科学数据分析、统计推断、模拟、优化、定理证明、图像重建、信号处理、反问题、传感器校准、模型拟合、分类和科学机器学习。终端科学 0.1 任务范围 生命科学 19 生物学 8 医学与健康 6 神经科学 4 生态与进化 1 物理科学 17 天文学与宇宙学 6 物理 5 材料科学 4 化学 2 地球科学 8 地球科学 5 大气与气候 1 海洋与海洋 1 环境与可持续发展 1 数学科学 17 应用数学与科学计算 6 运筹学与优化 5 形式数学与定理证明 3 统计学 3 工程科学 9 机械与航空航天工程 5 电气与计算机工程 2 化学与过程工程 1 土木与结构工程 1 总共 70 项任务 0 2 4 6 8 10 70 项跨五个科学领域的专家策划任务 任务由以下人员贡献研究人员通过 GitHub 上的开放流程进行交流，并在 Discord 上的 #tb-science 频道中进行讨论和反馈。贡献以提案形式开始，审稿人在提案中提出