培训 LLM 代理以使用 RSI-Dojo 自动化 LLM 后期培训

arXiv:2611.03698v1 公告类型：新 摘要：递归自我改进（RSI）旨在使人工智能系统能够自主构建和改进人工智能系统本身，包括模型、线束和底层基础设施。在这个更广泛的议程中，一项核心功能是使代理能够训练和改进基础模型。然而，现有的自动化模型训练研究主要集中在工作流程或线束级别的优化，而不是将进行后训练的能力内化到模型本身中。开发此功能需要可执行的模型训练环境，该环境可以生成高质量的轨迹，演示如何选择数据、训练模型、诊断故障和迭代改进结果。在本文中，我们介绍了 RSI-Dojo，这是一组可执行模型训练环境，旨在教 LLM 代理进行后期训练。为了构建 RSI-Dojo，我们开发了 RSI-Craft，这是一种自动管道，可将人类研究成果转换为可执行的模型训练环境。 RSI-Craft 自动从顶级场所收集研究论文，将数据集和指标实例化到统一的界面中，并重现评估依赖关系。然后，它根据数据大小、执行可靠性和可辨别性来过滤任务，产生具有 281 个种子模型训练任务的 RSI-Dojo。在 RSI-Dojo 的基础上，我们采用轨迹收集方法和改进的工具，从前沿模型中收集高质量的模型训练轨迹，然后通过基于标题和基于结果的过滤保留示例。我们在这些轨迹上微调 Qwen3.5-9B 和 Qwen3.6-35B-A3B。由此产生的 RSI-Dojo-9B 和 RSI-Dojo-35B-A3B 比其基本模型分别提高了 8.74 和 16.87 PostTrainBench 点。 RSI-Dojo-35B-A3B 在 PostTrainBench 上达到 29.95，在 PostTrainBench-Lite 上达到 53.29，与 GLM-5.2 和 GPT 5.5 等前沿模型的性能相匹配。