代理数据科学中的无声失败

arXiv:2610.14115v1 公告类型：新 摘要：大型语言模型显着降低了编写代码的门槛。当然，这也导致了数据科学代理的发展，这些代理有望实现从任务制定到模型开发的数据科学设计和执行的自动化。代理数据科学（代理 DS）的现有评估评估下游预测性能和代码正确性，提供对代理 DS 功能的初步见解。我们认为这些评估忽视了数据科学的基本原则：数据科学方法论和领域知识。因此，仅评估下游性能会掩盖数据泄漏和不适当验证等方法上的失败，从而限制了强大的代理 DS 系统的开发。在本文中，我们从三个不同角度评估代理 DS 的准确性：1）对 220 个数据科学任务中常见代理 DS 框架和模型中的故障模式进行大规模分析，2）可重用且可扩展的测试套件，其中包含精心策划的数据科学任务，以受控方式测试六个特定故障，3）根据 Kaggle 竞赛上的专家解决方案对代理 DS 管道进行定性评估。我们发现，尽管代理工具或模型容量很复杂，但大多数代理解决方案都至少包含一种故障模式。此外，我们发现数据泄漏失败的发生与预测性能之间存在正相关性，证实了评估代理超出准确性的必要性。我们的定性分析表明，与赢得竞争的数据科学家相比，DS 代理普遍缺乏解决问题的创造力和领域知识。我们相信，如此处所介绍的原则性故障模式分析应该是代理 DS 评估不可或缺的一部分，并且我们提出的见解将是开发值得信赖的代理 DS 管道的关键。