智能AI
morning
BuggyMLE:通过错误注入扩展机器学习工程难度
2026-11-20
1 阅读
约2分钟阅读
John Wu, Rushi Qiang, Yuchen Zhuang, Guowang Li, Girish Narayanswamy, Max Xu, Sam Schmidgall, Mark Malhotra, Shwetak Patel, Jimeng Sun, Daniel McDuff, Bo Dai, Xin Liu
字号:
arXiv:2611.25088v1 公告类型:新 摘要:使 AI 系统能够自主改进 AI 模型需要能够执行机器学习工程 (MLE) 的代理。在实践中,设计、训练和评估复杂模型需要修改多文件存储库来重现结果、调试训练运行、集成数据集和端口框架。然而,现有的 MLE 基准测试限制代理只能进行单文件编辑,而无需完整的存储库或 shell 访问权限,并且常见的存储库级软件工程基准测试已迅速饱和。为了解决这个问题,我们引入了代码复杂度指数(CCI),这是一种基于十个结构特征的难度度量,涵盖存储库规模、依赖深度和补丁大小。 CCI 强烈预测八个公共编码基准的平均解决率 ($R^2 = 0.951$),将补丁大小和复杂性确定为首要预测因素。在 CCI 的指导下,我们开发了 BuggyMLE,这是一个可扩展的框架,代理将受控突变注入到工作的 ML 存储库中,合成了超过 6,600 个注入 bug 的 MLE 存储库变体以及基于 222 个源存储库的近 26 万行注入代码。使用 BuggyMLE,我们做出了两个贡献。首先,我们构建 BuggyMLE-Bench-Lite,这是 MLE-Bench Lite 的第一个难度分级、存储库级变体;在 14 个评估模型中,随着难度从最简单到最难,最高解决率从 95% 下降到 9%。其次,我们综合了跨越 200 个额外 ML 存储库的三个难度级别的培训课程,对 Qwen3.5-9B 模型进行了微调,以与 BuggyMLE-Bench-Lite 上的前沿模型相媲美。我们经过训练的模型超越了 ML,将其 SWE-bench Lite 解析率从 24% 提高到 33%,将 LiveCodeBench v6 pass@1 从 69% 提高到 71%。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱