Strands Decider 2B：小型开源决策模型

今年早些时候，我们宣布推出strands-labs，这是一个实践最先进的代理人工智能方法的地方。今天，我们很高兴添加 Strands Decider 2B：一个针对快速实验、本地开发和创新而优化的小型决策模型。 Strands 决策者是一类新型决策模型或系统一模型之一，自 TypeSafe AI 本月初推出 Jev 以来，这种模型一直受到广泛关注。与可以生成任意输出的法学硕士不同，决策模型旨在在选项集之间进行选择（例如，“关于咖啡机的字符串‘打开灯’是吗？是或否。”、“短语‘sihamba ngokushesha’是什么语言？英语、祖鲁语或荷兰语。”）并分配简单的数字分数（例如，“短语‘这是我读过的最好的文档’是积极情绪吗？在 0 到 1 之间。”）。作为灵活性降低的代价，决策模型在给定大小下速度更快、能力更强，始终从所选选项中生成答案，并且可以以非常低的延迟运行。另一方面，这种方法（在单个并行过程中生成所有输出）在解决复杂问题方面明显比推理模型差，而且它缺乏生成文本的能力，使其不适合编码、聊天机器人、文档摘要和其他常见的 LLM 任务。此外，决策模型为每个决策提供高质量的可靠性评分（即“我如何确定这个是/否是正确的？”），这是前沿 LLM 推理 API 无法提供的。它们还使得针对同一提示提出多个问题变得非常高效。这种属性组合使它们非常适合驱动代理工作流程类型，我们看到许多开发人员使用 Strands Harness SDK 和最近推出的 Strands Harness 进行构建。我们预计此类模型将在未来几周、几个月甚至几年内为代理人工智能带来许多有趣的创新。 Strands Decider 2B 是我们对这一创新的第一个贡献。它是一个 20 亿参数的模型，适合在本地 CPU 或 GPU 上运行，可以在数十毫秒内返回有意义问题的答案。其精度和校准与我们所知的同类其他型号相比具有竞争力。我们已在 GitHub 上开源发布了 strings-decider-2b，其权重位于 Hugging Face 上，包括我们用于构建模型的所有训练数据和脚本，使其成为您开启自己的创新之旅的绝佳场所。模型架构核心思想是我们采用预先训练的LLM躯干（Qwen3.5-2B），并移除LM头部，剥夺其生成文本的能力。 LM 头被指针头取代，指针头对躯干为每个选项提供的答案进行评分。它通过根据 位置的隐藏状态对每个选项位置的隐藏状态进行评分来实现此目的。这个头很小，总参数刚刚超过一百万。躯干使用 16 级 LoRA 适配器进行微调。图 1：Strands Decider 2B 架构。当您浏览该存储库时，您会发现这是该架构的第二次主要迭代。第一个类似，但使用了我们发现性能明显较差的槽头。事实上，我们今天发布的模型是 v19，其中有很多迭代。我们在每个版本中更改的所有内容都包含在存储库中，您可以跟随我们所做的工作。它的表现如何？对于这种类型的模型，我们感兴趣的是三个性能目标：准确性（它回答问题的能力如何）、校准（它的置信度分数有多可信）和延迟（它做出决策的速度有多快）。我们一直在一起测量前两个：JevBench 公共集上的准确性，以及使用同一集上的 Brier 分数进行校准。我们发现，strands-decider-2b 在准确性和校准方面表现良好（在 2B 类 33 个模型中排名第 3，在 30 个模型中排名第 1（不包括略高于 2B 的模型）。随着架构的不断发展，我们的分数越来越好，并且我们对未来的改进有很多想法。我们希望社区能够本着 Strands 实验室的精神与我们一起贡献自己的新想法。图 2：整个训练轨迹的准确性和校准（Brier 分数）。随着架构在连续版本中的发展，这两个指标在 JevBench 的公共集上都得到了改进。在延迟方面，strands-decider-2b 可以在广泛使用的硬件上以大约 115 毫秒的中位数做出本地决策。做出决定所需的时间取决于任务大小，随着任务大小变大，近似线性增加。图中的结果是在本地 Nvidia RTX3090 上得出的，但 M3 MacBook 上的性能也差不了多少，小任务的中值延迟约为 153 毫秒。与准确性和校准一样，我们有很多改进的想法，特别是在减少底线方面。图 3：决策延迟作为任务大小（以令牌为单位）的函数，在本地 Nvidia R 上测量