Senior SWE-Bench：评估代理为高级工程师的开源基准

高级SWE-Bench 我们对待代理商就像高级工程师一样，那么为什么要像初级工程师一样评估他们呢？ 01 高级工程师在没有过度指定的要求的情况下构建功能高级 SWE-Bench 功能任务具有读起来像自然语言消息的实际指令，而不是过度指定的要求。为了可靠地评估这些任务，我们引入了一个验证代理，它使用专家设计的方法来编写适应提交的解决方案的行为测试。 02 高级工程师通过行为报告解决需要运行时调查的错误 高级 SWE-Bench 错误任务反映棘手的用户报告并专注于调查，从启动服务到调试微妙的运行时问题。它们源自需要大量运行时调查才能解决的 PR（例如日志、分析数据、复制步骤）。 03 高级工程师在没有被告知的情况下交付了正确的代码 高级 SWE-Bench 通过将运行时正确性测试与基于观察到的代码库实践的几个质量指标相结合，得出了有品味的解决方案。此外，验证器和验证可以针对指令中未说明的承载代码库实践进行测试。有关我们的技术贡献的更多信息，包括验证代理、品味评分和质量控制流程，请阅读博客文章 → 过度指定 6,008 个字符 · ~ 39 个代码符号 swe-bench-pro/instruction.md 1 ### 将 Google 图书作为元数据源添加到 BookWorm 以进行回退/分期导入 2 3 ### 问题/机遇 4 5 BookWorm 目前依赖 Amazon 和 ISBNdb 作为元数据的主要来源。当元数据丢失、格式错误或不完整时，这就会出现问题——特别是对于只有 ISBN-13 的图书。因此，通过承诺项或“/api/import”提交的不完整记录可能无法丰富，从而在开放图书馆中留下质量较差的条目。此限制会影响数据质量和用户导入的成功率，特别是对于不太常见或国际的标题。 6 7 ### Justify：我们为什么要致力于此？可衡量的影响是什么？ 8 9 将 Google 图书作为后备元数据源集成，增强了开放图书馆补充和暂存更丰富版本数据的能力。这提高了导入图书的完整性，减少了由于稀疏元数据而导致的导入失败，并增强了用户对导入体验的信任。其影响可以通过提高导入成功率和减少“Book 978...”等占位符条目的频率来衡量。 10 11 ### 定义成功：我们如何知道问题何时解决？ 12 13 - BookWorm 能够使用 ISBN-13 从 Google 图书获取并暂存元数据。 14 15 - 自动测试确认各种 Google 图书响应的准确解析，包括： 16 17 - 可用字段的正确映射（标题、副标题、作者、出版商、页数、描述、发布日期）。 18 19 - 正确处理缺失或不完整的字段（例如，没有作者，没有 ISBN-13）。 20 21 - 当 Google 图书返回零个或多个匹配项时，不返回任何结果。 22 23 ### 提案 24 25 引入对 Google 图书的支持，作为 BookWorm 中的后备元数据提供程序。当 Amazon 查找失败或只有 ISBN-13 可用时，BookWorm 应尝试从 Google Books API 获取元数据并将其暂存以供导入。这包括更新源逻辑、元数据解析以及确保正确处理“google_books”中的记录。 26 27 要求：28 - ` openlibrary/core/imports.py ` 中的元组 ` STAGED_SOURCES ` 必须包含 ` "google_books" ` 作为有效源，以便导入管道能够识别和处理来自 Google 图书的暂存元数据。 29 30 - 暂存书虫元数据的 URL 为“http://{affiliate_server_url}/isbn/{identifier}?high_priority=true&stage_import=true”，其中affiliate_server_url 是 openlibrary/core/vendors.py 中的 URL，参数标识符可以是 ISBN 10、ISBN 13 或 B*ASIN。 31 32 - 使用 `supplement_rec_with_import_item_metadata` 补充 `openlibrary/plugins/importapi/code.py` 中的记录时，如果 `source_records` 字段存在，则必须添加（扩展）新标识符，而不是替换现有值。 33 34 - 在 `scripts/affiliate_server.py` 中，名为 `stage_from_google_books` 的函数必须尝试使用​​ Google Books API 获取和暂存给定 ISBN 的元数据，如果成功，则通过使用 `Batch.add_items` 将元数据添加到相应的批次来保留元数据。 35 36 - “scripts/affiliate_server.py”中的联属服务器处理程序必须回退到 Google Books，以获取不从 Amazon 返回结果的 ISBN-13 标识符，但前提是在请求中设置了查询参数“high_priority=true”和“stage_import=true”。 37 38 - 如果 Google 图书为单个 ISBN 查询返回多个结果，则逻辑必须记录一条警告消息并跳过暂存元数据，以避免引入不可靠的数据。 39 40 - 从 Google 图书响应解析和暂存的元数据字段必须包含 at mi