开发者生态
morning
Claude Code 团队如何看待验证
2026-11-18
1 阅读
约5分钟阅读
craigmart
字号:
在 Claude 代码团队中,我们的绝大多数代码(~90%)都是由 Claude 编写和审查的。在这种规模下,我们如何让我们的特工用证据来验证他们的工作变得极其重要。验证循环是让您将更多工作委托给 Claude 的构建块。如果没有它们,你实际上一次只能运行一两个克劳德,因为你必须自己检查一切。有了它们,您可以并行运行数十个或数百个。这是因为为代理提供验证其输出的方法是提高质量的有效方法。在围绕结构化文件生成的内部测试中,让单独的评分员根据评分标准检查 Claude 的工作,与标准提示循环相比,任务成功率提高了 10 分,在最难的问题上收获最大。曾经昂贵的验证(测试、基准测试、规格、真正的端到端运行)现在向代理请求很便宜。与代码一样,代理可以快速生成测试、基准测试和规范。一旦生成,这些测试和基准测试就会作为软件运行,因此它们可以频繁运行,而无需使用许多额外的令牌。您还可以通过使用结果来提高代理在该任务上的表现来关闭验证循环。例如,如果代理在检查用户数据日志的测试中反复失败,您可以在 CLAUDE.md 中创建一个挂钩或更明确的规则以避免将来出现问题。这(大部分)可以阻止问题再次发生。因此,如果验证对于高速生成高质量代码至关重要,那么您应该使用什么类型的测试以及如何在整个管道中应用它们?本文回答了这些问题,并分享了 Claude Code 团队使用的流程。并非所有测试都是一样的: 3 个值得投资的测试 无论您选择哪种测试类型,都需要避免一些失败模式。如果您的测试不稳定,您将训练代理再次运行它们,而不是修复失败的代码。如果您的测试速度很慢,代理将跨批次执行较少的测试,这可能会使查明问题变得困难。最好在提交更改之前部署更繁重的测试。现在,以下是我认为最值得投资的三种测试类型。 E2E 测试 如果您必须专注于一种测试类型,请选择端到端。这些测试描述了真实的用户流程,例如将商品添加到购物车、结账以及转到确认页面。 E2E 测试之所以如此有效,是因为它们很难被欺骗——无论整个功能有效还是无效。他们还有明确的完成标准,可以具体告诉您哪些地方出了问题。图 A 单元测试可能会显示“错误:30 秒后超时”,但端到端测试可以显示屏幕截图,其中包含对损坏内容的描述。虽然单元测试速度更快且不那么不稳定,但通过测试仍然有可能破坏功能。这是因为代理和测试都不理解完整的任务。通过端到端测试,可以有效地让您的代理亲眼目睹真实运行的系统。您可以使用 CDP、模拟器或 API 工具等工具来启动、驱动和检查应用程序。特征图可以作为代理的指南和评分标准,因为它们通常从用户的角度列出特征,并描述路径、键盘快捷键、选择器和预期结果。属性测试:无法打破的约束 许多测试都是基于您认为可能会出错的内容。财产测试着眼于人们往往会错过的边缘情况,这也是代理商经常失败的地方。首先编写一条您认为不会失败的语句,然后使用测试库(JS/TS 的快速检查、Python 的假设、Rust 的 proptest 等)生成数千个输入,试图证明事实并非如此。几乎每个软件项目都有许多属性,例如: 往返编码: - 如果您对 X 进行编码然后将其解码回来,您将得到 X。 - 这也适用于解析和序列化。不变量:必须始终为真的事情,例如“帐户余额永远不会变为负数”。幂等性:执行两次操作(迁移、规范化、重试)与执行一次具有相同的效果。等效性:优化的代码产生与简单但正确的代码相同的结果。属性库是保持代理诚实的好方法,它使用边缘案例,这些边缘案例的创建方式与创建原始代码的代理不同。当规范偏离生产行为并且不再是可靠的验证来源时,它们对于重写也特别有帮助。差异测试:旧系统是 oracle 差异测试对于预计功能保持不变的大规模迁移用例特别有效。对于这些测试,您使用相同的输入运行旧系统和新系统,看看是否得到不同的结果。如果这样做,则存在需要修复的错误或重大更改。差异测试的关键是使用随机生成的
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱