迈向自动驾驶代码库

代理商可以一次性拍摄出真正有趣的游戏。有了正确的护栏，代理可以在复杂的代码库中执行令人难以置信的令人印象深刻的迁移，甚至用新语言重写。但基本上所有“真正的”软件工作仍然由人类工程师来推动这一过程。我们怎样才能到达一个可以为我们处理大部分工作而不需要我们的注意力的地方？看起来代理应该能够自己构建整个软件系统。为什么这在实践中进展如此糟糕？我们需要什么新的原语才能使其正常工作？这能走多远？ tokenmaxxing 之后会发生什么？今年上半年，许多工程组织将尽可能多的工作转移给代理大军和对抗循环。结果非常令人失望：可疑代码堆积如山，但没有出现令人难以置信的软件海啸。所有这些代币的投资回报率充其量只是粗略的。从炒作周期的角度来看，我们正处于幻灭的低谷。我们正在研究如何实现几个月前的乌托邦愿景，但尚未付诸实践。接下来会发生什么？在其他每个采用周期中，答案都是：找出最佳实践，弄清楚我们闪亮的新锤子在哪里非常适合钉钉子，而在哪里我们一直用它来砸螺丝，然后创建我们没有意识到是必要的积木，直到我们拿到了闪亮的新玩具。我们可以用来帮助我们实现这一目标的一种诊断方法是问：当软件主要自行驱动时，工程师会做什么？常见的答案是：设置循环！我们过去写代码，然后写提示，现在我们设置代理循环并大量写/目标。我认为这是错误的。目前，建立一个可行的软件循环，在不浪费金钱的情况下产生净积极的软件变更是一项艰巨的工作，但主要是因为工具链还没有准备好。当我们拥有正确的移动部件时，这些循环将易于设置、易于信任且具有成本效益。这不会是我们的时间去的地方。相反，最有价值的工程工作就是拥有好的想法。重要的想法仍然来自软件工厂之外。事实上，这整台机器的目的是最大限度地减少我们必须考虑的不具有高价值的事情。杀手级功能仍然是公司创造的。 Cursor Tab、Descript的文字编辑、OpenRouter将推理供应商抽象到通用计费界面背后，这些都是公司的创意。除了创造力之外，好的想法还需要对问题的熟悉程度和领域专业知识，而工程师需要为这一过程做出贡献。 [1] 杀手级架构仍然具有很高的杠杆率。正确的简化仍然可以在以后节省大量的复杂性，这体现在更少的错误和更容易的产品迭代上。稍加深思熟虑，就能让高价值的功能在以后变得轻而易举。制定更正确的数据模型或在正确的位置添加队列或构建脚手架以更好地测试产品仍然具有很大的价值。哪些部分应该是自动驾驶的？除了“有好主意”之外，我们应该尝试将代码库工作转移到 GPU。例如，代理商可以处理所有这些问题吗？检测并修复大多数错误。如果用户通过 SSO 登录，新功能将无法正常工作。批量删除不会像单独删除那样更新页面顶部的行计数器。代理应该为我们捕获这些并修复它们。大多数错误往往有明显的预期语义——我们不需要人类工程师来裁定软件应该如何工作，我们甚至可能不需要文档或规范。调试生产错误。当出现错误时，代理应该将其与最近的提交或流量变化或基础设施差异或意外情况相关联，并且通常为我们修补它。后端基本上不会再抛出 500 了。浏览器控制台日志应该基本没有错误。优化代理。我们到底应该写多少代理提示？ Braintrust、Raindrop、Arize 或 Langfuse 能否隔离常见的代理病态、提出更新、回测并交付它们？前端一致性。任何应用程序的视觉语言都应该具有内部连贯性。应用程序应使用一致的字体、颜色、图标、间距。设计系统应该自我引导并自我执行，由人类做出确认性决定。应用抛光。应用程序应该按照用户期望的方式运行。按住 Ctrl 键单击应在新选项卡中打开链接。禁用按钮应该有解释原因。刷新时应保留表单字段。 UI 应该以合理的方式在移动设备上呈现。用户界面应可由屏幕阅读器导航。像这样的基本生活质量期望有几十种。增长优化。迭代表单转换、优化入门、制作营销页面。有一些实验手册非常有效，代理应该运行这些实验手册