Unsatz：在没有给定 Ansatz 的情况下评估科学发现

arXiv:2611.03713v1 公告类型：新 摘要：在科学家拟合任何参数之前，他们必须决定模型包含哪些内容：存在哪些量、哪些量是隐藏的、它们如何相互作用以及如何测量它们。物理学家将这种试验形式称为 ansatz。自动方程发现的基准主要通过固定变量、候选术语库或要修改的定律来提供它。我们引入了 Unsatz，这是一个 LLM 代理必须自行构建 ansatz 的基准。每个任务都是一个模拟系统，由私人种子生成为小型建模语言的程序：普通方程、延迟方程或偏微分方程、离散映射、静态和因果模型或随机过程，可能具有隐藏状态、扭曲的传感器和无信息的测量通道。代理在预算范围内购买实验，用相同的语言编写候选程序，从基准测试者那里获取系数，并且仅根据其最终程序如何预测它从未见过的实验来评分：超出其可以探索范围的条件、干预和更长的运行。在 20 个领域的 80 个系统中，九种语言模型解决了 21% 到 60% 的问题。在其中的 44 个系统上，经典方程发现方法几乎从未成功，尽管一旦给出未知系数的真实方程，相同的数据通常就足够了；困难在于找到结构，而不是估计它。由于机制跨系统重复出现，我们还向代理提供他们为相关系统发现的程序；只有当新系统共享该机制并且第一次调查成功时，它才会有帮助。更强的代理人犯的不科学错误更少；除此之外，智能体会发现系统有哪些变量，但不知道它们的行为方式，并且更喜欢降低训练误差的修订，而不是预测更好的修订。