「史上最严」湿实验预测基准发布！推理拉满、算力翻5倍也白搭

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 「史上最严」湿实验预测基准发布！推理拉满、算力翻5倍也白搭 鹭羽 2026-11-14 17:58:22 来源： 量子位 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 不ber，现在的基准测试都进化到酱婶了？？？ 这回不刷题了，就直接给AI一组实验条件，让它 自己研究、提前猜真实湿实验的结果 …… 比如，同一个反应换几种条件，哪种能得到更多目标产物？一批抗体变体，哪个表达量更高？ 答案先藏好，等AI交卷，再拿实测结果对一对。 你还别说，这事儿现在真值得一测。 这两年， AI for Science 的方式越来越深入，AI已经能自主查文献、用软件，为完成一项分析任务连续做上几小时也不在话下。 大家自然而然开始进入下一个阶段： 我们到底希望AI具备怎样的科研能力？ 湿实验结果预测 ，就是其中颇有实际价值的一项。 它需要AI理解实验目标，并从已有知识中挖掘出相关机制，才能更好地帮助研究人员筛选值得进一步探索的研究方向。 UniPat AI牵头推出的新基准 Science Prediction Universe （简称SPU），便敏锐地察觉到这一点。 116个任务，4207个湿实验，覆盖化学、材料科学、生物和医学，基准顾问与湿实验合作成员也来自斯坦福、康奈尔、哈佛等高校，以及业内前沿科研机构和生物技术公司。 模型践行每次工作8小时制，配有一块H20，然后自主决定怎样利用检索与计算资源形成实验预测。 结果出乎所有人意料。 即使强如Opus 5.5、GPT-6 Astra，数据上 距离真正能实现预测还都很遥远 。。。 各配置在全部已评分任务上的平均得分 不得不说，SPU这是给所有科研模型都上了道硬菜。 从前那些看不见摸不着的科研能力，如今都变成了可以统一评估、持续研究的数值。 至于AI的科研判断怎样一步步养成，就有了更为具体的讨论依据。 湿实验预测：值得单独为模型考一次 回到 湿实验预测 上，首先这的确不是一道新题。 科学史上有过很多这样的时刻，一个判断在实验之前被给出，然后交给过程去裁决，对了就留下，错了就推翻。 具体的判断逻辑就构成了科学家的 品味 。 品味够好、直觉够准，科学家就能更快拿到大结果，同时节省宝贵的实验资源。 毕竟光一次湿实验，做化学的要配试剂、设定反应条件，再分离产物；做生物的也要经过漫长的蛋白表达……时间成本、工具费用本身就价格不菲，结果不理想还得反反复复做好几轮。 所以 在动手之前先预测 ，是科研流程里含金量最高的一步。 只不过区别在于，过去这件事纯靠科学家自己，现在到了AI时代，模型也需要有这项能力，并且还需要一张能为之打分的试卷。 现有的基准还无法完全覆盖 ，比如BrainBench让模型直接判断实验结果，ScienceAgentBench侧重在已有数据上完成分析，Terminal-Bench 4.0和Long-Horizon-TB这类长程任务基准，则主要用预设测试检查任务产物。 SPU与之相比，均有所不同。 它更强调把AI自主研究过程与湿实验结果预测放在一起考， 既涉及预测效果，也考验科学工具使用和长程任务执行的能力 。 图表由AI生成 这种判断也被SPU组织成了明确的任务。 100个公开任务 分别取自85篇近期发布的论文，领域专家从研究中整理候选项、材料、条件与测量方式，保留完整的定量结果作为评分依据。 另外 16个私有任务 ，来自四组未发表的合作湿实验，涉及VHH纳米抗体、反应条件、电解液和Magrolimab变体。 共计32个子领域、4207个实验，其中公开研究提供了跨学科的任务来源， 实测结果对模型隐藏 ，未发表实验则增加了独立于公开论文答案的检验。 这在一定程度上可以避免模型提前见过题目。 SPU的任务覆盖与来源 题目的筛选过程也很有讲究。 专家优先选择测量完整、条件清楚的研究，那些沿着单一趋势就能排序的简单问题会被直接剔除，数值过于接近的问题也会被视作参考意义不大。 最终留下来的那些题，都会更难也更有区分度。 具体预测过程中，要求模型 每次运行八小时 ，配8核CPU、16 GiB内存和一块H20，同时允许联网检索并安装科研软件。 模型将在这段时间里自行搜集证据、选择计算方法，最后提交各比较组 从低到高的预测排序 。 为了防止记忆污染，评分过程也会全程在独立、断网的容器中进行，禁止AI检索原始研究结果，还会自动扫描工具输出，识别源论文DOI、标题等标识符。 最后系统将用 Spearman相关系数 对照预测与实测排序。 系数越接近1，排序就越贴近实验结果。 SPU的评测流程 有意思的是，SPU还关注到了很多基准测试没有考虑到的细节。 比如对于最后的得分，SPU会考虑会不会是运气使然，万一是瞎猫碰到死耗子了呢。 所以它会额外为每道题生成4000份随机排序，把第95百分位作为随机水平阈值，检查模型提交是否明显超过这一参照。不同任务也都有相应的参照依据。 整套SPU的设计，可以说是科学严谨的。 模型要在里面一步步自己判断什么值得算，并为最终预测交卷。 这一设计既有利于衡量当前AI的湿实验预测能力，也为后续研究团队借助统一指标持续改进实验指明了方向。 说归说，咱们接下来不妨一起看看首批前沿模型的成绩单。个中细节还挺值得单独拎出来讲讲。 全新测试让前沿模型集体破绷 SPU首轮系统评测覆盖 12款前沿模型、13种配置 。这里的配置，指的是模型、推理强度以及所使用的模型框架。 先说说整体成绩。 一句话： 都不咋地。 在全部已评分任务上，平均分最高的是Claude Opus 5.5，拿了0.486分。但其中也只有一半的任务，超过了随机水平。 13个配置里，几乎都是这样，能超过随机水平阈值的任务比例仅有 34％～52％ 。 也就是说，在场的所有模型距离真正可靠的湿实验预测，都还有一段很长的距离。 领先组和落后组的行为对比分析 不过模型之间亦有差距，平均表现可以划分为两个梯队： 领先组 （6个模型）和 落后组 （7个模型）。 同题比较中，领先组平均还是要比其余七个高出约 0.15分 。 还有个细节值得注意。领先组约9％的任务得分低于0，其余七个配置的这一比例能高达22％。 这里的0指的就是随机有效排序的平均分，负分即意味着预测与实际排序呈负相关。 差距具体来自哪儿呢？研究团队又往下深挖了一步。 他们先把同题中其它模型的预测合成一份 参考排序 ，再将实验两两配对，对照实测结果，检查每个模型单独有没有排对。 在参考排序正确的实验对上，领先组能排对 86％ ，其余七个配置为78％；而对于参考排序错误的实验对，两组独立排对的比例都在30％左右。 所以其实领先组的一部分优势，恰恰体现在共同预测正确的地方，这部分领先组始终会更稳。 至于模型为什么会偏离正确判断，运行记录里有更具体的线索。 以 溶液任务 为例，同一个聚合反应，依次更换12种溶剂，任务要求按最后分离得到的聚合物质量排序。 Opus 5.5得分0.874，Qwen3.8为-0.126。12个候选溶剂