因果发现平台：法学硕士能否自主进行有效的实验？

arXiv:2611.09934v1 公告类型：新 摘要：随着大型语言模型（LLM）智能体被积极采用进行自主研究，它们不仅必须对现有证据进行推理，还必须设计信息丰富的实验，分配资源，分析连续观察，并决定何时停止并得出结论。然而，这些能力仍然缺乏衡量。我们引入了 Causal-Discovery-Bench (https://github.com/mshen1019/causal-discovery-bench)，这是一个可验证的沙箱，具有可配置的结构方程模型和资源约束，可以在没有领域语义线索的情况下评估顺序实验设计和因果发现。在来自 5 个供应商的 13 个模型的 3,802 个场景中，我们根据 7 个家庭的 40 个指标分析了代理行为。智能体的表现表现出四级难度层次，涵盖单一实验设计、因果关系的顺序探索、平衡成本和统计功效的资源感知实验以及冲突证据的自主解决。我们发现，正确策划的证据进行因果推断与通过自主实验进行因果发现之间存在巨大的性能差距：分析智能体的行动轨迹，将 94.5% 的错误归因于实验设计，而不是推断，这一点通过消融研究得到了进一步巩固。仅放宽资源限制并不能可靠地解决顺序发现中的失败问题。相比之下，基本统计工具可以显着提高多个模型系列的性能，而当模型缺乏先决条件的较低级别功能时，高级工具几乎无法提供额外的好处。