Databricks 将 AI 编码支出减少了 70%

AI 编码工具提供了巨大的价值：在 Databricks，代理编码显着改善了我们跟踪的每个速度指标，并且在一些团队中推动了输出的数量级增长。但几乎所有大规模部署人工智能工具的公司都遇到了同样的问题：成本呈指数级增长。这条曲线是不可持续的——如果不加以控制，它最终将超过收入。支出爆炸式增长使企业陷入了一个矛盾的境地：一方面，它们希望最大限度地推动人工智能转型，为员工提供强大的工具；另一方面，又不得不与可能破坏甚至逆转人工智能带来的效率收益的总体成本状况相协调。幸运的是，一些最早的大规模采用者已经集中在一系列解决这个难题的方法上，实现了“双重任务”：（a）以最小的摩擦提供对人工智能工具的广泛访问，以及（b）将每个用户的总成本保持在大致固定的范围内。这篇文章根据我们在 Databricks 的经验以及与其他几家数字原生公司（包括 Stripe、Coinbase、Uber 和 Ramp）的对话，概述了经过验证的成本管理技术。下表总结了当前的技术和相关的节省；这些数字是定向的，基于对开发团队的非正式调查：其中一些技术可以通过许多公司已经使用的软件轻松实现。其他人需要新的基础设施，特别是修改最终用户客户端或跨模型转移流量的技术。在 Databricks，我们开源或免费提供我们的关键基础设施组件：最终用户元线束 (Omnigent) 和我们的 AI 网关 (Unity AI Gateway)。为了完整起见，这篇文章还涵盖了我们采访过的其他公司使用的软件。编码模型的“效率前沿” 将编码支出转移到更高效的模型发布时的单一最大成本杠杆。这一点值得讨论，因为“更便宜的模型”的简单解释实际上隐藏了模型成本和质量之间的微妙关系。通俗地说，前沿模型一词的意思是“最高智能模型”，前沿实验室主要致力于推进峰值智能。前沿模型现在可以解决数学或网络安全中的新问题。但当人工智能大规模部署时，另一种类型的前沿更为重要：效率前沿。效率边界是由一组模型定义的，这些模型对于给定的智能水平具有最佳的价格点。大多数日常编码不需要数学证明或新颖的安全见解，因此总的来说，重要的是满足典型软件工程工作质量标​​准的模型的成本。这种“效率前沿”的进步速度远远快于智能前沿，几乎每周都会发布新型号，这些新型号的单位价格智能程度比以前的型号更好。成本杠杆#1：转向开源和低成本模型快速采用更新、更高效的模型可带来任何技术中最大的成本优势。但为了获得这些收益，公司首先需要知道哪些模式真正击败了现有企业。这可能很困难，因为公共基准测试在表明编码任务的实际性能方面表现不佳。为了评估新模型，许多公司建立了自动化评估，他们认为这些评估更能代表其内部开发组合。 Databricks 最近发布了此类基准的示例，其中我们观察到 GLM 模型极具竞争力的性价比。该基准促使我们在内部向开发人员推出 GLM。通常，新模型不会推进效率前沿，并且评估经常会产生负面结果：Stripe 发现 Opus 4.7 并未比 Opus 4.6 显着提高质量，同时增加了成本。因此，他们拒绝在内部提供 Opus 4.7。 Databricks 在比较 Opus 5.0 和 4.8 时发现了类似的成本回归。利用和模型灵活性由于最大的胜利来自于切换到新模型，因此采用允许模型灵活性的最终用户工具正在成为降低成本的关键组成部分。与特定模型相关的最常用的工具称为harness。专有的前沿模型越来越多地进行联合设计，以便与特定的线束良好配合，这意味着某些线束与某些模型“更好地配合”。如果一家公司想要保持模型独立性，大致有两种方法： 要求用户更换线束。一种方法是为开发人员提供一组工具（Claude Code、Codex 或 Cursor），然后要求他们在公司希望将支出迁移到成本更低的模型时在工具之间进行切换。这使得用户可以在可能的情况下使用他们喜欢的工具进行工作，但这种方法的缺点是单个开发人员的转换成本可能很高。如果转换成本变得太高，线束本身