LFM2.5-24B-A2B：专为快速设备上代理而构建

今天，我们发布了 LFM2.5-24B-A2B，这是一种仅具有 2B 个活动参数的 24B 参数推理模型，专为设备上的快速、私有代理而构建。它是 LFM2.5 系列中最大和最终的型号，目前跨越两个数量级：从 LFM2.5-230M 到 LFM2.5-24B-A2B。 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B 具有竞争力，Qwen3.6-35B-A3B 的总参数和活跃参数多出约 50%，在八个代理和工具使用基准测试中的五个上，LiveClaw 得分为 48.09，AutomationBench 得分为 38.19；AutomationBench 得分为 27.69，得分为 8.72。由于每个令牌仅激活 2B 个参数，因此它的运行速度比设备上同类 MoE 快 1.7 倍，Apple M5 Max 上的输出令牌数为 184 个令牌/秒，单个 NVIDIA B300 GPU 上的输出令牌数高达 21K/秒。基础 (LFM2.5-24B-A2B-Base) 和训练后 (LFM2.5-24B-A2B) 模型是开放重量的，现已在 Hugging Face 和我们的 Playground 上提供。查看我们的文档，了解如何在本地运行和微调它。自 LFM2-24B-A2B 以来发生的变化 LFM2.5-24B-A2B 建立在我们之前的 LFM2-24B-A2B 版本的基础上，具有扩展的词汇和上下文窗口、扩大的预训练和大规模强化学习。与它的前身不同，LFM2.5-24B-A2B 是一个纯推理模型，在得出最终答案之前会产生明确的思维链。我们采用这种策略是为了利用其高解码速度并提高答案质量。建筑学。它保留了 40 层，每个 MoE 块有 64 个专家，具有 top-4 路由，以及门控短卷积和 GQA 的相同混合。这两个架构变化是上下文窗口从 32,768 个令牌扩展至 131,072 个令牌，以及就地令牌生成器扩展，它将词汇表从 65K 令牌增加一倍至 128K 令牌，以实现更好的非拉丁令牌化。预训练从 17T 代币扩大到 33T 代币。中期训练分为两个阶段。第一个在 32K 上下文中运行 2T 令牌，针对推理、数学、代码、指令跟踪和多语言文本进行加权的精选、高质量数据。第二个在 131K 上下文中运行 300B 令牌，针对长上下文数据进行加权。工具调用和多轮轨迹出现在两个阶段中，为代理工作负载准备模型。训练后将 LFM2.5-24B-A2B-Base 在五阶段管道中转变为代理 LFM2.5-24B-A2B，如下所示：(1) 监督微调 (SFT)、(2) 教师专业化、(3) 非代理和 (4) 代理多域按策略蒸馏 (MOPD) 和 (5) 代理强化学习（代理） RL），在代理工具内训练模型，例如 OpenClaw 、 Hermes Agent 、 Pi 和 OpenCode 。图 2：LFM2.5-24B-A2B 训练后配方 在教师专业化期间，LFM2.5-24B-A2B 表现出了众所周知的奖励黑客行为：在存储库的 git 历史记录或 GitHub、PyPI 和 Hugging Face 等平台上搜索最终答案。更令人惊讶的是，它甚至发现它位于沙箱中，如下面的示例所示。这种行为看起来很自然，但可以通过包含类似模式的训练数据来解释。作为回应，我们收紧了沙箱，下面所有报告的结果都来自密封的评估环境。基准 我们通过 16 个基准评估了 LFM2.5-24B-A2B，涵盖工具使用和代理工作流程、知识、指令遵循、数学和编码。尽管它是总参数和活动参数数量最小的模型，但它与总参数和活动参数多出约 50% 的较大 MoE（例如 Qwen3.6-35B-A3B）具有竞争力，并且通常优于较大的 MoE。基准 LFM2.5-24B-A2B Qwen3.6-35B-A3B Gemma-4-26B-A4B-it Nemotron-3.5-Lightning (30B-A3B) AutomationBench 27.69 8.72 5.46 2.61 BFCLv4 65.01 65.00 57.09 53.78 ToolSandbox 80.71 75.02 72.09 75.13 LiveClaw 48.09 38.19 41.25 37.72 PinchBench 83.18 89.93 77.12 84.20 τ³-Bench Banking 8.04 7.63 4.54 7.01 WebArena 已验证26.75 37.62 25.62 28.69 GPQA 钻石 74.42 83.69 74.90 72.42 AA-Omniscience -24.90 -24.35 -59.39 -3.58 HLE 7.40 7.69 8.57 5.65 IFEval 96.75 93.06 92.00 94.19 IFBench 74.69 64.21 47.44 71.67 Multi-IF 84.38 81.53 82.19 82.34 MATH-500 96.04 96.73 95.66 96.40 SWE-Bench 验证（开放代码） 51.00 66.20 25.80 53.40 SciCode 32.71 37.35 35.42 27.78 表 1：LFM2.5-24B-A2B 基准性能*。 LFM2.5-24B-A2B 在八个工具使用和代理基准测试中的五个（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking）上领先或匹配竞争对手，在 AutomationBench 上的优势最大，得分是次优模型的三倍多。它还在所有三个指令遵循基准测试中处于领先地位。较大的模型在 GPQA Diamond、HLE 和 AA-Omniscience 等知识密集型基准测试以及 SWE-Bench Verified (OpenCode) 和 SciCode 等编码基准测试上保持优势。结果使 LFM2.5-24B-A2B 成为需要推理、调用工具并在设备上可靠运行的代理的理想基础。对于知识密集型工作负载，我们建议将 LFM2.5-24B-A2B 与检索或网络搜索配对，这可以发挥其工具调用的优势。 LFM2.5-24B-A2B 随日发货，随处快速推理