GitHub 热门项目：OpenManus-RL

GitHub 项目：OpenManus-RL 仓库地址：https://github.com/OpenManus/OpenManus-RL 星级：4076 | 作者：OpenManus 项目描述：针对 LLM 代理的 RL 调整的实时流开发 =================================================== 自述文件内容： # OpenManus-RL ? 数据集 (OpenManus-RL) OpenManus-RL 是一项由 __Ulab-UIUC__ 和 __MetaGPT__ 合作领导的开源计划。 该项目是原始 [@OpenManus](https://github.com/FoundationAgents/OpenManus) 计划的扩展版本。受到推理 LLM 的成功 RL 调优（例如 Deepseek-R1、QwQ-32B）的启发，我们将探索基于 RL 的 LLM 代理调优的新范例，特别是在基础上构建。 我们致力于以动态、直播的方式定期更新我们的探索方向和结果。所有进展，包括对 GAIA、AgentBench、WebShop 和 OSWorld 等代理基准的严格测试以及调整后的模型，都将公开共享并持续更新。 我们热忱欢迎更广泛社区的贡献——与我们一起突破智能体推理和工具集成的界限！ 代码和数据集现已可用！集成了“verl”子模块以增强强化学习训练能力。 ## ? 目录 - [OpenManus-RL](#openmanus-rl) - [?新闻](#-新闻) - [当前团队成员](#current-team-members) - [如何贡献](#how-to-contribute) - [路线图](#路线图) - [方法](#方法) - [推理模型探索](#reasoning-models-exploration) - [替代推出策略](#alternative-rollout-strategies) - [环境和基准](#environment-and-benchmark) - [训练后策略](#post-training-strategies) - [代理奖励模型的训练](#training-of-agent-reward-model) - [轨迹的测试时间缩放](#test-time-scaling-of-trajectories) - [行动空间意识与战略探索](#action-space-awareness-and-strategic-exploration) - [与 RL 调优框架集成](#integration-with-rl-tuning-frameworks) - [数据集](#数据集) - [数据集概述](#dataset-overview) - [数据实例](#data-instances) - [跑步](#跑步) - [相关工作](#相关工作) - [代理调整](#agent-tuning) - [工具使用](#工具使用) - [代理调整指令数据集](#agent-tuning-instruction-dataset) - [RL 调整](#rl-tuning) - [基准](#benchmark) - [类似代码](#similar-code) - [致谢](#致谢) - [社区组](#community-group) - [引文](#引文) - [文档](#文档) --- ## ? 新闻 - **[2025-03-09]** ? 我们在 [Huggingface](https://huggingface.co/datasets/CharlieDreemur/OpenManus-RL) 收集并开源了我们的 Agent SFT 数据集，快去尝试一下吧！ - **[2025-03-08]** ? 我们正在与 Metagpt 的 [@OpenManus](https://github.com/mannaandpoem/OpenManus) 合作，共同开展这个项目！ - **[2025-03-06]** ? 我们（UIUC-Ulab）宣布我们的住所