8B模型做生物实验：实验步骤顺序不乱、剂量无幻觉｜ICLR 2026

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 8B模型做生物实验：实验步骤顺序不乱、剂量无幻觉｜ICLR 2026 听雨 2026-05-18 14:52:11 来源： 量子位 超越GPT-4o Thoth团队 投稿 量子位 | 公众号 QbitAI 人类研究员做实验，从来不是把几句步骤随手拼起来。 一份真正可复现的实验protocol，需要明确每一步做什么、对什么对象操作、用什么参数，以及步骤之间的先后依赖。 一旦顺序错了、剂量错了、对象错了，表面上看起来流畅的文本，也可能在实验台上直接失效。 然而，当前大模型虽然已经能回答大量生物医学问题，在真正生成实验方案时仍然容易出现问题： 步骤缺失、顺序混乱、操作冗余、参数幻觉，甚至把不能直接执行的建议包装成一段“看起来很专业”的说明。 更关键的是，传统文本指标如BLEU、ROUGE、BERTScore主要看词面相似度，难以判断一个protocol是否真的逻辑正确、语义忠实、可在实验中执行。 LLM-as-a-Judge虽然更接近人类偏好，但用于强化学习训练时代价过高，也不够稳定。 针对这一问题，上海人工智能实验室、复旦大学、上海交通大学团队提出了 Thoth ： 一个面向生物实验protocol生成的科学推理模型 。 相关论文《Unleashing Scientific Reasoning for Bio-Experimental Protocol Generation via Structured Component-Based Reward Mechanism》已在ICLR2026正式发表。 一句话概括：Thoth不是让模型“写得像protocol”，而是 让模型按照实验逻辑，生成可解析、可评估、可执行的protocol 。 现有LLM会写，但不一定能做 在生命科学研究中，protocol并不是普通说明文，而是 实验执行蓝图 。 它需要同时满足三类要求： 粒度合适：步骤不能过粗导致关键信息丢失，也不能过细造成冗余； 顺序正确：前置处理、加入试剂、孵育、离心、检测等操作必须符合实验依赖； 语义准确：每个动作都要绑定正确的对象和参数。 举个简单例子：如果原protocol要求将5mL凝胶预混液与25µL 10% APS、2.5µL TEMED混合，那么缩放到1mL时，APS应为5µL，TEMED应为0.5µL。 在论文展示的案例中，Thoth能给出简洁且顺序正确的结构化步骤；而对比模型虽然语言流畅，却把TEMED剂量写成了5µL，出现了执行层面的事实错误。 △ 剂量缩放任务中的定性案例 这类错误很难被普通文本相似度指标惩罚，因为模型可能“说得很像”，但实验上并不可靠。 因此，团队认为，要让AI真正辅助实验复现，需要把protocol生成从自由文本生成，推进到结构化科学推理。 从12K真实protocol构建SciRecipe 为了解决数据基础不足的问题，团队首先构建了SciRecipe。 该数据集来源于Nature Protocols、Bio-protocol、Protocols.io等标准化实验流程平台。 团队从超过23K份原始protocol中进行清洗、去重、结构化处理和质量控制，最终保留约12K条高质量数据，覆盖神经科学、分子生物学、癌症生物学等27个生物学子领域。 SciRecipe不仅包含传统的protocol理解任务，还进一步覆盖真实实验工作流中的问题解决场景，包括： overview：总结整体实验流程； specific：分析局部实验步骤； retrieval：检索所需实验信息； planning：规划实验方案； troubleshooting：处理实验异常； constraint：满足约束条件； scaling：进行剂量缩放； safety：识别安全注意事项。 也就是说，SciRecipe不是只让模型“读懂protocol”，而是让模型在理解、规划、纠错、缩放、安全等环节形成完整的“理解—应用”闭环。 △ SciRecipe数据构建流程 核心方法：先打草稿，再填成可读步骤 Thoth的第一个关键设计，是 Sketch-and-Fill推理范式 。 这个范式把protocol生成拆成三个阶段： 首先是think，模型先分析任务目标、实验依赖和步骤必要性； 然后是key，模型把实验方案抽象成机器可读的原子步骤，每一步都包含action、objects、parameters三个核心字段； 最后是orc，模型再把这些结构化步骤改写成自然语言protocol，保证人类研究员能够直接阅读和执行。 可以把它理解为： 先让模型写“实验骨架”，再把骨架填充成完整操作说明 。 这一设计的好处是，实验步骤不再是一整段难以检查的自由文本，而被拆解为可解析的结构单元。 每一步做什么、作用于什么对象、在什么条件下完成，都可以被自动检查。 更重要的是， key和orc之间要求一一对应 。 结构化步骤里出现的动作、对象和参数，必须在最终自然语言protocol中体现出来。这避免了模型只给出一个“空心框架”，却漏掉关键实验细节。 SCORE：不用LLM当裁判，也能判断protocol能不能执行 Thoth的第二个关键设计，是Structured COmponent-based REward，简称 SCORE 。 传统评估指标往往只看生成文本和参考答案像不像。SCORE则直接从实验可执行性的角度出发，评估三个维度： 第一是Step Scale，判断步骤数量和粒度是否合理。步骤太少，可能漏掉关键操作；步骤太多，则可能引入冗余和噪声。 第二是Action Order，判断动作顺序是否符合实验逻辑。对于实验来说，有些步骤即使都出现了，只要顺序错了，protocol仍然不可执行。 第三是Semantic Fidelity，判断动作、对象和参数是否匹配。例如“add”是否加到了正确试剂上，温度、浓度、时间等参数是否绑定到了正确对象。 △ Sketch-and-Fill推理范式与SCORE奖励机制示意图 SCORE还加入了两个门控机制：格式门控检查模型是否按照think、key、orc、note顺序输出；一致性门控检查key中的动作、对象、参数是否被orc充分覆盖。 只有通过这些基础检查的protocol，才会进入后续奖励计算。 这样一来，模型优化目标就从“写得像参考答案”，变成了“生成结构合理、顺序正确、语义忠实、实验上更可执行的protocol”。 三阶段训练：从知识到行动 在训练层面，Thoth采用Knowledge-to-Action学习策略，让模型逐步从“掌握实验知识”过渡到“生成可执行实验方案”。 第一阶段是预训练，模型从大规模protocol文本中学习实验语言、材料、设备和流程逻辑。 第二阶段是监督微调，模型在Sketch-and-Fill格式数据上学习如何按照结构化范式组织输出，并完成参数填充、步骤排序、错误修正等任务。 第三阶段是强化学习，团队使用GRPO算法，并以SCORE