通过弹性专家并行进行训练后资源高效的强化学习

摘要

arXiv:2611.06984v1 Announce Type: new Abstract: Reinforcement learning post-training improves the capabilities of large language models, but generating training responses is a major computational bott...

and response the responses workers FlexFloor training models occupied generation

2026-11-06 1 阅读约1分钟阅读 Jia Wei, Ziyi Qiu, Yi Xu, Xuehai Qian

arXiv:2611.06984v1 公告类型：新摘要：强化学习后训练提高了大型语言模型的能力，但生成训练响应是一个主要的计算瓶颈。在专家混合模型中，完成分配的响应的工作人员可能会继续忙碌，因为处理较长响应的工作人员仍然需要他们的专家。因此，基线中大约三分之一的占用工作时间发生在本地响应生成完成之后。在这里，我们介绍 FlexFloor，这是一个系统，可以在同步响应生成过程中更早地释放资源，同时保留正在进行的响应所需的专家计算。 FlexFloor 共同调整响应调度和活跃的工作人员组。它使用历史响应长度和内存限制来指导批处理和提示放置，然后逐步释放工作人员，同时保持专家的可用性和正确的通信。与 verl 基线相比，FlexFloor 每单位占用计算时间生成的响应令牌增加了约 65.40%，响应生成吞吐量增加了 52.74%，而首次部署奖励几乎没有观察到变化。通过使强化学习训练后更加高效，FlexFloor 支持大型语言模型和 AI 代理的更快开发和迭代改进。

订阅66必读