AI真能用好科研软件吗？清华团队推出OSWorld-Science，智能体迎接硬核大考

一道科学问题，AI 可以给出解释，列出步骤，甚至写出分析代码。 但如果再往前走一步呢？ 让 AI 打开科研软件，自己完成任务所需的操作，再给科学家一个可以信赖的大结果，它能做到吗？ 从核磁共振分析到病理图像处理，从统计计算到物理仿真，这些任务每天都在科研工作中出现。完成它们需要相关科研领域的专业知识，也需要具备在软件里逐步规划和执行正确的能力。 当 AI 真正接手这些工作，会发生什么？ 由清华大学研究团队牵头，多所海内外知名高校与研究机构的科研人员共同推出了 OSWorld-Science ：一个面向真实科研场景的计算机使用智能体评测基准及配套基础设施。 该 benchmark 包含了 146 项专家设计的任务 ，涵盖 7 大科学领域、14 种科研软件配置 ，并被交给 12 个视觉语言模型 测评 。 在当前评测中，12 个模型的平均任务得分仅为 34.3% 。 这里的得分衡量任务完成程度，并不等同于成功率。但它已经让一个问题浮出水面： 当 AI 被融入真实科研流程，从理解问题到自主实现科研流程、交付可靠结果，还需要完成哪些工作？ 科研需要的结果，究竟是什么 假设一位研究者要分析一张病理图像，并知道应该使用什么分析方法，这对于得到结果而言并不足够。接下来，他还需要打开软件、导入图像、配置参数、运行分析，再保存和导出结果。每一步都可能影响最终产出：软件中的某个选项没有设置好，文件没有正确保存，或者处理结果没有达到要求，都可能让前面的工作无法被后续使用。 科研人员需要的，是一条能够稳定走完、结果能够核验的工作流程。 OSWorld-Science 将这样的需求写进了任务设计。在 Mnova 中完成核磁共振分析，在 SAS 中开展统计计算，在 QuPath 中处理病理图像，在 ANSYS 中进行物理仿真。领域专家把真实研究流程转化为任务，也为这些任务设定了验证标准。智能体需要在虚拟机中，通过键鼠或终端操作软件。每次行动之后，再根据新的界面状态决定下一步。最终，评测依据的是 任务结束后的文件产物与应用状态 。换句话说，模型描述自己完成了什么，还需要由实际结果来证明。 图 1｜OSWorld-Science 设计流程框架。来源：论文原图。 为了让不同模型的结果可以比较，团队基于 OSWorld 的多模态 PromptAgent 进行了科学软件适配，提供统一的提示与交互流程，并采用一致的任务步数预算和基础回复长度限制。 请求、响应、令牌消耗与执行日志也会被记录下来。 这样，研究者既能看到模型最终交付了什么，也能回到过程中，查看它是如何完成、又是在哪里遇到困难的。 同样是科研软件，模型表现可以相差多大 在 146 项任务上，Claude Fable 5.1 以 73.7% 的平均任务得分领先。 Claude Opus 5、GPT-6 Astra 和 GPT-5.6 sol 的得分分别为 57.9%、57.4% 和 50.1% 。 但如果把总榜拆开，按学科来看呢？ 在统计任务中，各模型都表现较好。但是到了化学任务，只有少数模型，如 Claude Fable 5.1 和 Claude Opus 5 的得分能够超过 20%。GPT-6 Astra 在医学影像任务中达到 69% 的得分率，却在化学任务中的表现不佳。 由此可见，同一个模型，进入不同科研领域，可能呈现出不同的能力边界。 这也让科研场景中的模型选择变得更加具体：总榜可以提供参考，但真正需要比较的，是模型能否完成相应科研领域的实际工作。 除得分率外，成本同样是评估模型科研执行能力时不可忽视的重要维度。本次评测显示，得分最高的模型并非成本最高的模型，表明模型性能与调用成本之间并不是简单的线性关系。同时，低成本的模型虽然能够完成部分科研任务，但在任务完成度、执行稳定性和最终结果质量上，与高性能模型相比仍存在明显的差距。 图 2｜成本与表现对比。横轴为每项任务的平均 API 成本，单位为美元；纵轴为平均任务得分。 另一个有意思的结果，来自模型之间的输出量差异。 Claude Fable 5.1 平均每项任务输出约 2.1 万 tokens ，得分为 73.7% ；Gemini 3.1 Pro 平均输出约 15.7 万 tokens ，得分为 17.2% 。 这里的输出量包含推理 tokens，也不能单独代表费用。输入 token 量、模型定价和反复交互都会影响最终成本。 但这组对比仍然提示了一个值得追问的问题： 更多的输出，究竟有没有让任务被更高质量地完成？ 在同一个位置点击 39 次之后 有些困难，只有回到实际操作过程，才能看清楚。 在生物学领域软件 Mnova 的一次运行中，模型需要处理 Bruker 一维 H 谱，把 6 - 溴吲哚的每个氢归属到谱峰。Claude Sonnet 5 模型因坐标映射偏差，在同一个错误位置重复点击了 39 次 ，最终耗尽预算而任务失败。 图 3｜科研软件范例 Mnova，界面和 PowerPoint 非常相似，也是模型理解软件操作的障碍之一。 第一次点错，可能只是定位偏差。 但连续点错之后，智能体需要识别错误模式与反思改变行为，如：判断界面有没有发生预期变化，当前操作是否可能无效，接下来需不需要换一种方法。 如果没有这一步，在失败操作之后的行为就可能变成更多的失败重复。 在对已公开轨迹的分析中，团队发现， 61% 的失败运行没有留下可评分产物，同时耗尽了步骤或时间预算 。这也让 “完成任务” 的含义变得更加清楚：即使已经做过部分分析，如果没有及时保存、导出和核验，工作仍可能停留在无法交付的状态。 长流程科研需要智能体持续判断当前进度，识别错误操作，并及时调整策略来交付正确的科研结果 。因此，智能体要在理解专业问题、找到正确的界面入口、处理环境中的异常等能力协同配合的条件下，才能高效准确地完成复杂、长程的真实科研任务。 做出了结果，怎样知道它是对的 软件成功运行，也不意味着科学任务已经结束。 在 ANSYS Fluent 的圆柱绕流伴随任务中，Kimi K3 发现阻力读数为零。 这个异常让它重新检查设置，随后修正了漏选壁面的问题，最终获得满分。 在这个过程中，结果并非只是被读取出来直接交付，它也成为了模型检查前面自我操作正确性和合理性的依据。 不过检查本身也有可能出错。 一个化学任务的案例显示，智能体进行了多次格式转换和内部一致性检查，却仍然重复同一个立体化学错误。 为什么多检查几遍，还是没有发现问题？ 因为如果检查始终围绕同一个错误表示展开，一致的结果，也可能只是同一个错误被保留了下来。 科学验证需要独立的证据，并允许这些证据推翻原先的判断。 原始数据、物理约束和精度要求，都可能成为这样的依据。智能体需要做的，是把结果重新放回这些任务要求和相关科学规律中检验结果的准确性和合理性。 这也让科研执行中的 “可靠” 有了更具体的含义：能够独立完成操作，发现结果中的异常，并据此修正自己的工作。 从这些任务中，我们看到了什么 把不同学科的任务放在一起看，OSWorld-Science 关注的是一项贯穿始终的能力： 让 AI 将专业知识落实到科研软件操作中，来将具体科研任务自动化处理为可验证的科研产出 。 界面定位决定操作能否落在正确