自动路由真能省钱吗？便宜模型出错后，人类修一小时可能更贵

Cloudflare 最近通过 AI Gateway 推出了 Auto Router 公测版 "。只需将模型设置为 cloudflare/auto，分类器就会为每个请求选择一个模型。公告中最有价值的内容，是一项 Cloudflare 自家路由器反而落败的基准测试。 路由分为两个阶段。AI Gateway 首先构建候选模型池，过滤掉无法处理当前请求格式的模型，并应用凭证、计费配置、访问控制和支出限制。随后，一个多头分类模型会在 Cloudflare 边缘 GPU 上通过 Workers AI 运行，为 14 类任务分配概率，并从四个维度对请求进行 1～5 级评分：复杂性、歧义性、风险程度，以及对先前上下文的依赖程度。最后，评分矩阵将这些结果与基准测试数据相结合，其公开公式为：“效用 = 预期质量 - 自适应成本惩罚”。 Auto Router 只根据最近几轮对每个请求进行分类，文本上限为 8KiB。随后，它会根据候选模型在不同任务上的能力，以及处理较难任务时的预期收益进行评分；任务难度越高，价格所占的权重越低。 从事智能体工程的 CTO Jacques B 在 Cloudflare 的一篇 LinkedIn 帖子 "中指出了真正重要的衡量指标： 如果还需要有人额外花一个小时修正结果，那么更便宜的模型其实并没有省下多少成本。 Cloudflare 公布的正是这一数字。这项测试包含 97 个任务，每个模型采样三次，并进行了 1 万次 Bootstrap 重采样。 可靠性提高约 10 个百分点，成本则约为原来的三分之一。团队可以自行决定站在哪一边，而大多数路由产品甚至不会提供这种选择。 分类机制本身引发了从业者最尖锐的质疑。曾参与银行和医疗平台开发的技术负责人 Igor Pyrin 指出，风险评分只依据一个偏重最近几轮的精简上下文： 在一次较长的智能体会话中，用户可能很早就说过“这是客户退款”，之后只说一句“继续执行”。我会让应用自己维护一个跨轮次的风险标签，并用它判断请求是否可以使用 cloudflare/auto。一条简短的最终指令不应该悄悄降低底层操作的风险等级。真正提交操作的那一轮，往往恰好是整段对话中看起来成本最低的一轮。 文档 "还补充了两点。第一，响应会携带 cf-aig-routed-model 和 cf-aig-routing-reason，后者可能返回 cost_optimal_within_pool 或 pinned_by_turn 等值，因此事后可以审计模型选择。第二，可以通过 cf-aig-allowed-models 和 cf-aig-allowed-providers 请求头，针对单个请求限制模型池，但目前无法将其保存为路由配置文件，而这正是 Adam Natad 在发布讨论中提出的需求。 在相信这些数据之前，还有一项值得确认：目前的默认模型池列出了 Claude Opus 5、Sonnet 5 和 Fable 5，以及 GPT-5.6 Luna、Sol、Terra 和 Grok 4.5。表格中作为两项基线的 Opus 5.5 和 GPT-6 Sol，则位于必须通过上述请求头才能使用的可选模型列表中。Cloudflare 表示，模型池“可能会随时间变化”，因此这可能只是配置漂移，而非刻意设计。不过，尝试复现该基准测试的团队仍应确认自己的网关实际选择了哪些模型。 会话处理同样存在成本。如果没有会话 ID，同一对话中的请求可能被分配给不同模型，也就无法复用提示词缓存。出于相同原因，Cloudflare 会施加一项随上下文长度增长的模型切换惩罚，因为新模型可能需要重新生成推理 Token，并按照输出价格计费。 在 Reddit " 上，评论者 reachjalil 完全否定了这一前提，认为自动路由器“最终会让你花更多的钱，却得到更低的智能”，并表示如果结果真的重要，直接使用能力更强的模型反而更便宜。评论者 yangqi 回应称，计量单位应该是任务，而不是请求。reachjalil 随后的回复指出了一个 Cloudflare 自己也承认的问题：分类本身也更适合交给大模型完成，而且路由权重会过时，“尤其是在模型不断变化的情况下”。文章称，路由权重来自基准测试结果，因此新模型必须手动加入评分矩阵。 Auto Router " 在公测期间免费，之后的价格尚未公布。目前不支持 WebSocket，只支持 Chat Completions 和 Responses API。 路线图中还包括 cloudflare/auto-best。它使用相同的分类器和模型池，但不考虑成本取舍，直接选择预期质量最高的模型。 原文链接： https://www.infoq.com/news/2026/10/cloudflare-auto-router/ "