AI科学家「终极大考」，全球首个真实湿实验的物理AI验证器来了

编辑｜Youli 前段时间，Anthropic 展示了一项 AI for Science 研究成果： Claude 在 64 小时内生成了 31.8 万个蛋白质设计方案， 经过筛选，211 个被送入湿实验室测试，最终有 17 个达到预设的蛋白结合标准，展示了 AI 科学设计走向真实实验验证的巨大潜力。但 Anthropic 也指出，从结合命中到真正可用的抗毒疗法，仍面临复杂的活性验证与成药性考验等一系列考验。 这道出了当前 AI for Science 最尖锐的一个现实： 在虚拟世界里推演方案，与在真实物理世界里把实验做出来，完全是两回事。 那么，模型提出的方案与真实的物理实验之间的鸿沟究竟有多深？过去谁也说不清，因为行业缺少一套能够反复执行、横向比较的物理验证基准。代码有单元测试，数学有标准答案，真实实验却受到设备差异、执行误差和成本的制约，不同实验室的结果也难以直接比较。 最近，由 律动造物联合多家全球顶级科研机构共同推出的 AI Scientists' Last Exam（AI 科学家的终极大考，AISLE）， 试图为 AI 的真实实验能力建立一把新的「尺子」。作为全球首个面向干湿实验闭环科学发现的公开基准，AISLE 希望让不同模型走进真实实验室，在统一标准下接受物理世界的检验。 项目地址：https://aisle.science/ Github repo: https://github.com/MasterAI-EAM/ai-scientists-last-exam 论文链接：https://github.com/MasterAI-EAM/ai-scientists-last-exam/blob/main/paper/AI_Scientists_Last_Exam.pdf 而结果是，在首轮累计执行的 4079 次真实湿实验测试中，参测的 GPT、Claude、Gemini 等顶尖模型交出了一份充满警示意味的成绩单： 在完成湿实验榜单评测的模型中，综合排名第一的 GPT 5.5 在满分 100 分情况下仅得 41.19 分；而在带有安全约束下的实验优化任务中，所有参测模型的完整通过率全部为 0%，GPT 6 Astra 得分甚至有所降低。 这一结果彻底打破了大模型在榜单上的「做题家光环」。 在计算机里，模型把「1+1」计算一亿次，答案依然是 2，但在真实的湿实验室里，让一台自动化移液设备重复执行一亿次操作，结果绝不可能完全相同。设备会损耗，精度会漂移，测量数据带有噪声，实验环境也可能随时发生变化…… 更值得警惕的是，科学能力的增强，并不意味着安全能力同步提升。当模型直接调用实验设备，一次违反安全约束的决策，就可能从数字世界中的错误变成现实中的设备损坏、人员伤害甚至环境污染。甚至，如果模型无法识别多轮交互中逐步显露的危险意图，其科学推演能力还可能被被恶意利用。 这也是 AISLE 的另一层意义，当全球科技巨头都在竞相描摹「AI 科学家」的技术愿景时，这场物理大考却揭开了一个残酷的现实： AI Scientist 的能力边界，不能只看它能否提出正确假设、完成实验目标，还要看它能否在整个实验过程中遵守安全边界。 值得注意的是，这项具有行业里程碑意义的工作背后汇聚了自动化实验室、计算化学和 AI for Science 领域的一批前沿研究力量。项目由 律动造物创始人谢童博士 发起，新南威尔士大学（UNSW）、新加坡国立大学（NUS）、瑞士洛桑联邦理工学院（EPFL）和加州大学伯克利分校（UC Berkeley）共同牵头，参与者包括 伯克利材料科学家 Gerbrand Ceder、化学 Agent 先驱 EPFL 的 Philippe Schwaller、化学具身与自驱动实验室（SDL）领域的开拓者 Acceleration Consortium 团队等全球 13 个前沿的 AI4Science 实验室， 以及来自 NVIDIA、Microsoft Research, 礼来 Lilly 等机构的研究人员。 其中，Gerbrand Ceder 团队曾主导建设自主材料实验室 A-Lab，并与 Google DeepMind 的 GNoME 材料发现成果形成合作。2023 年，相关研究发表于《Nature》，展示了 AI 材料预测与机器人自动化合成结合的潜力。 AI for Science 的「最后一公里」：从理论、计算走向实验 从科学发现的方法论来看，一个完整的科研周期通常由三个阶段构成：理论推演、数值计算与模拟，以及最终的物理实验执行。 近年来，OpenAI、Anthropic 等 AI 大厂的模型展现出愈发惊人的泛化能力，在数学推理、科学问题求解方面不断取得新突破，AI 也已经进入蛋白质结构预测、分子设计和材料发现等科研流程。 但科学发现的终极闭环，最终仍需要落到真实实验中，模型提出的假设能否得到真实观测的支持，计算中的最优方案能否在物理世界中成立，唯有实验才能给出最终判定。 可问题在于， 物理实验的反馈远比数字任务复杂。 一次实验不仅需要设备、试剂和时间，结果还可能受到测量噪声、执行误差和设备状态的影响。即使实验失败，也很难立即判断问题究竟出在方案、操作还是设备本身。 这让自动化实验室成为 AI for Science 的重要发展方向，希望将机器人、实验设备和 AI Agent 连接起来，让模型不再只是分析已有数据，还能够主动设计实验、执行操作、读取结果，再决定下一步做什么。 比如今年 10 月，Google Research 介绍了 VERID 框架，通过实验室的语义数字孪生跟踪机械臂、试剂体积和耗材状态，让 AI Agent 在执行真实操作前进行虚拟预演，并通过安全检查降低操作风险。 然而，让 AI 能够操作实验设备只解决了问题的一部分，而 AISLE 进一步关注： 如何衡量模型在整个实验过程中的表现，并将实验结果转化为可以持续使用的反馈信号。 长期以来，真实实验反馈很难像代码测试结果一样被高效、规模化地用于模型评测与训练。如何把稀疏、延迟且带有噪声的物理反馈转化为可靠的评价依据，成为 AI for Science 必须解决的问题。 AISLE 希望补上这一环： 让真实实验不仅成为 AI 的最终考场， 把答案放在物理世界里，模型可以背下论文、刷遍题库，却无法提前背下下一次真实实验的结果。设备会漂移，材料会变化，新的实验条件不断出现 —— 这不是一张等待被刷穿的考卷，而是一个持续出题的考场，也成为其持续学习的反馈来源。 AISLE：AI 科学家的「最后一考」，Nature as the Verifier? AISLE 的核心思路，是建立一套贯通模型推理、计算模拟与真实实验的分布式物理 verifier。它以自动化实验室为执行载体，形成「提出方案 — 执行实验 — 获取观测 — 调整决策」的干湿闭环，将物理世界的反馈转化为可用于模型评测与持续改进的信号。 但与以往依托单一实验室的探索不同，AISLE 通过统一的任务、动作与观测协议，将各个前沿大模型与不同地点、不同设备的自动化实验室连接起来，团队花了九个月时间才完全跑通。 其中，统一 harness 让不同站点的结果能在同一标准下比较，