来自加拉帕戈斯岛的代理编码笔记

自去年 11 月以来，我一直在大量使用人工智能，整个过程是一次有趣的经历。特工会做一些事情，如果是人类做的，你会立即解雇他们。当然，我的反应是表现得好像这很棒并启动一千个代理，这样他们就可以做更多的事情。去年年中，我使用 GPT（可能是 5.0 或 5.1）尝试查找 bug 的根源。当然，这段代码没有测试，git bisect 也不起作用，而且这是一个 UI 交互错误，我什至没有资格编写测试，所以我要求 Codex 在日期 X 和 Y 之间平分，以找到引入此错误的提交。 Codex 立即告诉我有问题的提交是在此日期范围之后（这不可能是正确的）。在告诉 Codex 这是错误的时，它然后告诉我一些提交，这些提交显然也不是一次或两次有问题的提交。在告诉它这些是错误的时，它然后告诉我，有问题的提交是一些看似合理的提交。当我要求它证明或反驳其理论时，它告诉我它编写了一个测试并确认所谓的提交是破坏性提交。然后我要求它在正常的浏览器测试环境中制作一个包含完整开发人员端到端堆栈的视频来向我展示。它声称它没有这样做的权限（这是一个谎言），但它可以使用适当的测试代码在剧作家中提交之前和之后制作重现执行的视频。该视频令人信服，并显示该功能在提交之前正常工作，而在提交之后则无法工作。感觉有些不对劲，所以我尝试在提交之前和之后手工重现这个问题，结果发现整个事情都是捏造的。该视频看起来像是 Codex 重现了该错误，但它是一个人造浏览器环境，旨在创建虚假重现，而不是真实环境。就像我说的，因为这是一次非讽刺性的伟大经历，我立即对自己说：“我怎样才能获得更多这样的经历？”并开始越来越多地使用代理，直到去年中后期我大量使用编码代理。由于这篇文章涵盖了一组相对不同的主题，因此这里有一个简短的概述。测试背景 关于测试 Caveman 模式 LLM 方差的一些细节 杂项 代理循环和撰写这篇文章 人们互相谈论的一些原因 测试背景 LLM 在测试方面受到高度利用。就所需的工作量而言，达到特定质量标准比以往任何时候都容易，但软件的质量似乎比以往任何时候都低。十年前，我们查看了我在任意一周内遇到的错误。当时有很多错误，现在我遇到了更多错误，但我认为情况不必如此。一方面，在错误发布后，使用数据驱动的方法来查找和修复错误比以往任何时候都容易。举个例子，在工作中，我尝试创建一个从支持票证（聊天或电子邮件）到拉取请求（PR）的管道。据我所知，这工作正常。由于我在一家采用传统工作流程的公司工作，所有这些修复都会由人工审核，到目前为止，我们还没有发现任何已知的误报。每投入一个单位时间，还可以进行更彻底的测试。就我个人而言，我认为这足够有效，以至于我可以相当轻松地尝试通过“软件工厂”工作流程交付大量代码，因为我已经看到了一个需要大量测试的无审查工作流程，其质量比我见过或什至听说过的任何依赖审查的工作流程要高得多。和每个人一样，我也有因我的经历而产生的偏见。碰巧的是，我职业生涯的第一个十年是在一家公司度过的，该公司的测试流程恰好适合当今的法学硕士环境。我谈到模糊测试作为 Mastodon 上的默认测试方法，一个怀疑论者尝试了它并立即发现了一些错误：所以我重新阅读了博客文章并且非常“可疑”，但不，是的，克劳德模糊测试发现了几类值得修复的错误我交谈过的其他一些人也尝试采用类似我们将在这里讨论的测试流程之类的东西，他们都立即在他们工作的软件中发现了错误，包括不存在的错误只需要求 Codex 或 Claude 审核代码中的错误、查找错误、“测试”、“测试更多”等即可浮出水面。例如，Dennis Snell 提到，他和队友 Jon Surrell 不仅在他们正在处理的代码中发现了错误，而且还“在上游依赖项中发现了错误，包括 HTML 规范、三大浏览器和其他开源项目”，而且工作量相当小。总的来说，当我与软件人员谈论测试时，我来自一个非常不同的地方，他们立即看着我，就像我是一个外星人一样，所以让我们谈谈我们如何在我工作的硬件公司 Centaur 进行测试，这表明了我对我喜欢如何工作的偏见。我们所做的一些事情曾经或现在是非正统的