Show HN：Parsimony——人工智能模型添加代码量的开源基准

简约性现有基准衡量解决率和成本，但不会惩罚多余的代码，这使得代码库从长远来看更难以使用。简约性衡量人工智能模型添加了多少代码。图表和排行榜需要 JavaScript。数据位于 GitHub 上。它采用基准测试已经发布的补丁并计算编码单元：语句、调用、比较、名称和文字等语法元素。行数不被计算在内，因此临时抱佛脚的代码不会得到奖励，删除的代码会被减去：净单位数 = 添加 - 删除。比较模型 图表散点图：比较两个指标 条形图：一个指标 显示我的运行 X 轴 Y 轴 如何阅读本文 模型按其解决的任务上添加的平均净单位进行排名，最低的在前。 “添加的净单位数（平均值）”还包括失败的尝试。解决方案来自 SWE-bench Verified；测试不会重新运行。测量是指可以测量多少已解决的尝试。人工智能分析智能指数是一个外部分数，与模型和推理工作相匹配。不影响排名。我在前 3-10 个 DeepSWE Python 任务（带有 pi 的 OpenAI 模型，带有 Claude Code 的 Anthropic 模型）上运行褪色模型，并根据每个任务自己的测试进行评分。它们未经验证或排名。 GPT-5.6 Sol 以两种方式运行：我的运行添加了其已发布运行的代码的 0.88 倍。排行榜任务 所有任务 方法 每个补丁都会应用于任务的代码，并且会解析每个更改文件的两个版本。什么都没有运行。测试、文档和生成的文件被省略。仅测量Python。通过/失败来自SWE-bench公布的结果；测试不会重新运行。限制 越小并不总是越好：单位衡量的是大小，而不是可读性或设计。编写更多代码的模型也往往能解决更多任务（在具有 26 个以上模型的板上，Spearman 为 0.33-0.60）。每个模型都使用相同的代理（迷你 SWE 代理），但代理仍然会影响编写的代码量。添加您自己的基准测试 有来自另一个基准测试的代码大小数字吗？下载示例文件，填写结果并打开它以获得相同的图表和表格。该文件保留在您的浏览器中。格式以及如何分享。下载示例 JSON Clear Open 基准 JSON 示例：检查负数 两者返回相同的结果。 def has_negative(values):found = False 对于values中的值：如果value < 0:found = True 返回find def has_negative(values):返回any(value < 0对于values中的值)