Amazon 通过使用 Strands Decider 替换 Sonnet 4.6 节省了数百万美元

有一段时间，Amazon 和 AWS 团队依靠 Claude Sonnet 4.6 在内部系统中标记票证，而无需花费大量资金。 Sonnet 4.6 适合平衡智能与成本的最佳选择。考虑到它处理的是世界上最大的内部票务系统之一，九个月前的模型表现良好。然而，两名 Amazon 工程师最近将 Sonnet 4.6 替换为 Strands Decider，这是我们一个月前推出的决策模型，性能同样好，但成本降低了 98%。这一变化将在一年内节省数百万美元的代币成本。从事内部票务系统工作的卡尔和梅胡尔在下面详细介绍了这是如何发生的。用决策模型取代法学硕士的工作我们有大规模的 Sonnet 4.6 标签票。这些票据可以是客户升级、容量请求、自动警报、安全调查结果或公司范围内需要符合 20 个类别类型的任何其他内容。代理在每张票证上运行一个很长的系统提示，生成 JSON 并根据一组固定的标签进行推理。决策模型无法生成文本。首先给出一些状态和一个带有一组选项的问题，然后决策模型返回每个选项的概率加上置信度分数。我们发现这种方法与票据标签完美契合：状态是票据，选项是标签目录。我们从最初的 Strands Decider 2B 开始。在一组测试票上，E4B Gemma 4 版本获得了明显更好的结果，因此我们改用它。之后，我们调整了应用标签之前模型所需的置信度。结果显示，E4B 在我们的另一组门票上击败了制作版 Sonnet。我们在 SageMaker ml.g5.xlarge 实例（一个 A10G，每个 24 GB）上运行 E4B。该模型使用了大约 19 GiB，一个实例上的一个请求大约花费了 640 毫秒。端点会根据流量自动扩展，但其网络是隔离的，从而阻止对容器的出站访问。 SageMaker 在启动前从 S3 复制模型权重。顾客也可以这样做！除了我们的票务 API 之外，路径中的所有内容都是标准 AWS 服务。票证事件进入 SQS 队列，然后触发 Lambda 函数。它读取票证数据并调用模型，即带有 Strands Decider 的 SageMaker AI 端点。 AppConfig 持有开关（如下所述），CloudWatch 承载日志、指标和警报。该堆栈在 CDK 中定义，具有 Beta、Gamma 和 Prod 的部署阶段。在同一张票上运行 Sonnet 4.6 和 Strands Decider 我们不想翻转开关和希望。标签 Lambda 在每条消息上从 AWS AppConfig 读取三向设置： BEDROCK ：Sonnet 为每张票证添加标签，但不调用 Strands Decider。 DUAL ：Sonnet 和 Strands Decider 模型都被并行调用。 Sonnet 模型的结果应用于票证并与 Strands Decider 结果进行比较。 DECIDER ：Strands Decider 为每张票贴上标签，而 Bedrock 则不被调用。我们测量的 Claude Sonnet 4.6 Strands Decider E4B 改进百分比 每次调用平均时间 4,215 毫秒 897 毫秒 78% 每票输入代币 6,554 2,009 每票输出代币 170 1 每票代币总数 6,724 2,010 70% 代币下降有两个来源。 Strands Decider 生成一个输出，即选择，而不是 JSON 答案。它的提示符也比 Sonnet 4.6 短得多。仅 Production 的标签描述就比 Strands Decider 的 4,096 个标记窗口长，因此我们将 20 个标签中的每一个重写为一个或两个句子标准，并将它们作为单选问题的选项发送，加上一个“无”选项。票证数据与 Sonnet 获取的数据相同，只是在长票上，Strands Decider 会删除最旧的评论以适应。下面是我们关闭 Sonnet 使用当天的 Lambda 持续时间图表，显示平均 Lambda 执行持续时间下降了 74%。成本 按照公布的 us-east-1 按需价格计算： Claude Sonnet 4.6（Bedrock、全球端点） Strands Decider E4B（SageMaker、ml.g5.xlarge） 价格 每 1M 输入 3.00 美元，每 100 万输出代币 15.00 美元 每实例小时 1.408 美元 每票 0.0222 美元 约 0.0005 美元 每百万票约 22,200 美元Sonnet 每张票的成本约为 500 美元，直接来自上面的代币计数。 Strands Decider 取决于每个实例的繁忙程度。每个请求大约需要 640 毫秒，一个实例每小时可以处理大约 5,600 个票证，充分利用时每百万票证的成本为 250 美元。我们为突发事件保留了空间，实际上大约为每百万美元 500 美元。这比 Sonnet 便宜约 44 倍，减少了 98%。这些是公布的标价。他们忽略了 Lambda，现在每张票的运行时间也更少了。让我们惊讶的一件事是 JSON 键顺序改变了答案。使用不同顺序的密钥发送相同的内容会使输出概率最多增加 0.19。现在，我们发送带有排序键的每个请求，因此，如果您在 API 后面提供决策模型，请在比较运行之前检查这一点。我们的课程 这之所以有效，是因为