对基于法学硕士的因果推理的稳健性进行压力测试

arXiv:2611.03656v1 公告类型：新 摘要：为什么世界上一些最强大的人工智能 (AI) 系统仍然难以推理因果关系？因果发现，即辨别系统潜在驱动因素的能力，是科学探究的基础，传统上依赖于结构化数据和统计方法。最近，大型语言模型（LLM）已被探索作为因果推理的替代范式，利用其广泛的知识和推理能力。然而，尽管法学硕士语言流畅，但他们往往依赖于表面的模式识别，而不是真正的因果逻辑。虽然众所周知，法学硕士在这个领域遇到了挫折，但我们缺乏关于这些失败发生的地点、原因以及严重程度的精确地图。在本文中，我们提出了一个跨越六个关键维度的系统压力测试框架：模型规模、因果图复杂性、提示策略、元数据质量、数据质量和对不确定性的敏感性。我们的研究结果揭示了法学硕士存在显着的“乐观偏见”；模型始终高估因果关系，导致整体精度较低。此外，我们证明传统的评估指标可能具有欺骗性：虽然大量推理的模型在性能方面领先，但当忽略推理的不确定性时，往往会出现最高分。一旦将不确定性纳入评估中，绩效就会下降，从而更诚实地反映因果可靠性。我们还发现，虽然扩展模型大小可以改善结果，但这些收益是脆弱的；随着元数据质量的下降，性能急剧下降。这项工作可以作为法学硕士盲点的实用指南，对这些工具何时可以集成到因果发现流程中以及何时可能使研究人员误入歧途提供清晰的评估。