首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

DaisyRose-27B:1,200 任务 RL 在 Terminal-Bench 4.1 上将 Qwen3.8 从 5.6% 提高到 12%

摘要

Today we are releasing DaisyRose-27B , RadixArk’s first model, built on Qwen3.8-27B and trained with reinforcement learning using Miles . We trained it on long-horizon agent tasks with sessions up to ...

and the 27B with tasks model training task are DaisyRose
2026-11-19 1 阅读 约6分钟阅读 de_sty
分享:
字号:
今天,我们发布了 DaisyRose-27B,这是 RadixArk 的第一个模型,它基于 Qwen3.8-27B 构建,并使用 Miles 进行强化学习训练。我们对它进行了长期代理任务的训练,会话量高达 100 万代币,18 天内在 144 个 H200 GPU 上仅执行了 1,200 个策划任务。 DaisyRose-27B 将 Terminal-Bench 4.1 pass@1 从 5.6% 提高到 12.0%。除了 Terminal-Bench 4.1 之外,它还提供了各种其他推理、指令跟踪和编码基准测试的提升。我们正在发布 BF16 、 FP8 和 NVFP4 检查点供每个人尝试和构建。在这篇文章中,我们解释了精心设计的任务和高效的基础设施如何在有限的计算预算下实现这些收益。 DaisyRose-27B 在每个高于 1 的基准测试中得分均高于原始 Qwen3.8-27B 模型。最大的收益是 Terminal Bench 4.1,这是一个众所周知的硬性长期基准。我们的魔力在于以下三个关键要素:高质量的训练数据、高效的训练后端和强大的沙箱。高质量的训练数据 我们与 Eigent AI 合作构建了任务,从 Eigent AI 机器学习、软件工程、科学和其他领域的大量任务开始。我们共同培养了数千名候选人。其中大约 1,200 人进入了最终训练集。培训任务是根据三个标准选择的。每个任务都针对原始模型所犯的错误。我们在每一项训练任务中都运行了原始的 Qwen3.8-27B,并仔细地重新设计了每一项任务,以找出我们希望模型停止犯的错误。然后,我们调整每个任务,直到其解决率落在合适的范围内,对于模型学习来说既不太容易也不太困难。每项任务都是一项漫长的工作,有几个问题串联在一起。每项任务都涉及一系列相互依赖的问题,因此代理必须经历推理、规划和执行的多个阶段。每次尝试都会在沙盒中长达 1.5 小时,其中包含超过 100 次工具调用和超过 256k 的输出令牌。没有奖励黑客的空间。我们审查了每项任务以及模型的尝试。任何可以在没有真正解决的情况下通过的任务,或者有设计缺陷的任务,都会在训练之前修复或删除。高效的训练后端 RadixArk 使用 Miles(我们用于大规模模型后训练的开源强化学习框架)以完全异步模式对 DaisyRose-27B 进行训练:代理在模型学习时保持工作,互不等待。 128 个 H200 对代理任务运行推理,另外 16 个 H200 运行训练器并从轨迹中学习。每一步完成后,更新的模型都会发送到运行代理的 128 个 GPU。学习在我们的内部训练后端上运行,该后端是为代理训练而构建的:每个步骤都从几个非常长的会话中学习,有些会话长达 1M 个令牌,通过线束摘要折叠成多个轨迹。培训成本降低 57%。在此版本中,每个 GPU 峰值计算的 37% 投入到了后端的有用训练工作(模型 FLOP 利用率或 MFU)。这款基于威震天 (Megatron) 构建的开源训练器在可比运行中达到了 16%。因此相同的训练需要的 GPU 时间减少 57%。混合专家模型的增益甚至更大:Qwen3.6-35B-A3B 上的增益为 6.2 倍,大约 300B 参数的 GLM-5.3-Flash 上的增益超过 10 倍。端到端速度提高 2 倍。计算代理在其任务上花费的时间,该版本在其 144 个 GPU 上每秒训练约 16,800 个令牌。开源训练器在相同的 GPU 上达到了约 8,300。数周内保持稳定。该版本在 144 个 H200 上运行了数周,总共 63,000 个 GPU 小时。从第一步到最后一步,速度和效率都保持稳定。 DaisyRose-27B 版本的每个训练步骤都在 144 个 H200 上运行,并根据总训练时间进行绘制。虚线:可比较运行的开源训练器。强大的沙箱服务 在训练期间,代理所做的每次尝试都在沙箱中运行:代理运行命令、编辑文件,然后进行评分的任务环境的全新副本。 RadixArk 团队在此版本上的所有工作都在我们自己的服务的沙箱中运行,该服务基于开源 AgentENV 项目构建,我们也为其提供了修复。 9 月中旬至 11 月中旬期间,该服务为该项目运行了约 944,000 个沙箱,同时运行的沙箱数量高达 1,566 个。随着它的成长而可靠。该服务从一台机器增加到多达 12 台。我们对其进行了十次升级,几乎所有升级都是在训练运行时进行的。在所有九周内,99% 的沙盒创作都成功了,自 10 月底以来,成功率超过 99.95%。要实现这一目标需要源源不断的修复和改进,例如防止机器在内存不足时冻结。成本降低 80%。我们项目沙箱的云基础设施成本比与流行的云沙箱提供商运行相同沙箱的成本低约 80%。我们降低成本的一种方法是为每个沙箱提供
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱