64张B300、不到5天，FireFlash比肩Fable 5与GPT-6Sol，单任务成本低30倍！

长程智能体（long-horizon agents）正从「修一个 bug」走向连续数小时的终端与编程工作，但它的强化学习训练也格外昂贵：前沿实验室可以在数千张 GPU 上扩展 RL，而对多数团队来说，一条训练样本往往就是一次长达 3 小时、上百轮工具调用的完整尝试，任何一个环节出错，浪费的都是成小时的 GPU 时间。 近日，Wenbo Hu、Nanyun Peng、Dakuo Wang、Kai-Wei Chang 等研究者在 Agent Economics 博客上发布了 FireFlash ：一个从 GLM-5.3-Flash 出发、经全参数强化学习训练得到的 300B 级终端与编程智能体。 FireFlash 在 Terminal-Bench 4.0 上的 Pass@1 达到 46.2% ，与 Fable 5、GPT-6 Sol 处于同一水平，而单个任务的成本比最高推理强度下的 Fable 5 低 30 倍以上 ；这一提升也迁移到了 DeepSWE v1.1 与 SWE-Bench Pro Verified 两个软件工程基准上。整个训练只用了 64 张 NVIDIA B300 、不到 5 天，团队同时公开了完整的训练配方。 博客标题：FireFlash: An Open Recipe for Long-Horizon Agentic RL Achieving the Performance-Cost Pareto Frontier 博客地址：https://agenteconomics.org/posts/agentic-rl-recipe 作者：Wenbo Hu、Jesse Cai、Po-nien Kung、Yuxuan Lu、Di Wu、Huimin Zeng、Nanyun Peng、Dakuo Wang、Kai-Wei Chang 图 1：Terminal-Bench 4.0 上 Pass@1 与平均单任务成本（对数坐标）的关系。虚线为 Pareto 前沿，箭头为 FireFlash 相对 GLM-5.3-Flash 的提升。由于模型由团队自行部署，FireFlash 按 GLM-5.3-Flash 的公开价格计费。 表 1：三个基准上的 Pass@1（5 次试验取平均）。GLM-5.3-Flash 为其在各基准上的官方成绩，FireFlash 在团队自己的 harness 中评测。 百卡级集群， 如何做到 Pareto 前沿？ 团队从 GLM-5.3-Flash（总参数 321B，每个 token 激活 17.4B）出发做 全参数 RL ，训练全部 320B 语言参数（包括 MTP 层），冻结视觉塔与 DSA 索引器。他们认为，百卡级集群也能做到前沿级的训练效率，关键在于三点：精心筛选智能体 RL 环境，让每个任务都在合适的难度上提供可靠信号；为长、陈旧、低精度的 rollout 量身设计的 RL 配方；以及一套针对模型优化、训练与评测共用的编程 harness（智能体运行框架）。具体来说，团队重新审视并优化了后训练流程中的五个关键环节： ① 基础设施：GPU 不等最慢的那次尝试。 训练与 rollout 各用一组专属 GPU，允许使用落后最多 6 个权重版本的 rollout 训练，并借助 MTP 将解码加速 1.38 倍；每次尝试运行在独立的 microVM 中，因基础设施故障而损失的 rollout 组从 12% 降至 0.5%。 ② 任务筛选：每个 rollout 组都带有信号。 只保留初始通过率在 15%–85% 的任务（在与训练完全一致的条件下至少采样 4 次测得），零信号 rollout 组的占比从 48% 降至 10.2%。 ③ 奖励：只为真正的解答给分。 每个任务入池前须通过九道验证关卡，并使用校准过的终局部分分；对更短解答的效率奖励让每次解出所用的 token 数降至原来的 0.84 倍，准确率不降。 ④ Harness：长程任务装得进上下文，训练与评测一致。 上下文压缩、输出重定向到文件和后台执行让单次试验成本降低约 33%；训练与评测共用同一套 harness，在任何 RL 之前就让 GLM-5.3-Flash 比 Claude Code 高出 4.4 个点。 ⑤ RL 目标：陈旧的 FP8 样本也能驱动学习而不漂移。 GRPO 结合截断重要性采样、top-k 分数中心化、成功偏移与损失下限，不用 KL 惩罚和熵奖励也能保持稳定，只有 1%–3% 的 token 被截断。 基础设施： 完全异步的 RL 核心经验 1：闲置的 GPU 比陈旧的 rollout 代价更高——让采样和训练各自全速运行。 训练与采样分卡。 一半 GPU 用 slime 框架以 BF16 训练，另一半运行 SGLang 推理引擎，权重与 KV cache 均为 FP8。每个训练步结束后，新权重通过 NCCL 同步到 rollout 引擎，训练和采样互不阻塞（图 2）。 用陈旧的 rollout 训练。 由于采样持续进行，某一轮（turn）可能由落后训练器数步的权重生成；只有当它来自 6 个以上版本之前的权重时才会被丢弃。策略陈旧带来的偏移很小：训练器与 rollout 之间的 log 概率差距，在陈旧 1 个版本时为 0.065，陈旧 4–6 个版本时也仅升至 0.08。 快速、隔离的 rollout。 利用模型原生的多 token 预测（MTP）头做投机解码，解码速度提升 1.38 倍。每次 rollout 和打分都通过 AgentENV 在独立的 Firecracker microVM 中执行，尝试之间互相隔离，因基础设施错误而损失的 rollout 组占比从 12% 降至 0.5%。 图 2：完全异步 RL。rollout 与训练各占一半 GPU，互不等待。推理引擎持续采样，每次尝试运行在从其任务的父 VM 派生（fork，耗时不到 100 毫秒）出的独立 microVM 中；完成的组排队等待训练器取批。所有尝试得分相同的组被丢弃，由 6 个以上版本之前的权重采样的轮次不产生梯度。每次更新后，训练器把新权重推送给推理引擎。 任务筛选： 只在模型「拿不准」的地方训练 核心经验 2：只把 rollout 花在模型不确定的任务上，并在与训练完全相同的条件下度量这种不确定性。 GRPO 依靠同一任务多次尝试之间的相对差异来学习。一个模型总能解出，或者永远解不出的任务，会消耗一整组 rollout，却只提供 零学习信号 。因此，团队用基座模型对每个候选任务做至少 4 次 rollout 摸底，只保留初始通过率在 15% 到 85% 之间的任务。摸底 严格沿用训练配置 ——相同的 harness、推理强度、上下文窗口、轮数预算和沙盒——因为任务的通过率取决于其中每一项。这一筛选让 零信号 rollout 组的占比从 48% 降至 10.2% 。最终的训练数据中，长程智能体任务约占 52%，软件工程任务约占 48%（图 3）。 图 3：训练数据构成。橙色为长程智能体任务（共 52%）：团队自建的长程智能体任务（30%）及其困难档（11%）、长程编程技能（9%），以及公开的 MiMo-TB