ClawLoop：通过 Harness-Native 训练循环自我改进代理

arXiv:2610.14118v1 公告类型：新 摘要：大型语言模型 (LLM) 的快速发展推动了其向通用用途的利用环境的部署，其中基于 LLM 的代理在沙箱工作区中运行，并直接与文件系统和 shell 交互。虽然工具使用智能体存在大量的训练后管道，但基于工具的智能体的对应管道仍然稀缺，并且主要是一次性的和依赖于教师的：更强大的外部模型合成任务并收集轨迹，目标智能体经过一次训练，评估结果由人类研究人员使用，而不是反馈到循环中。这种管道本质上受到外部模型能力和人类先验范围的限制，没有自我改进的空间。为了解决这些限制，我们提出了 ClawLoop，这是一个无需任何外部教师模型且具有最小先验依赖性的自我改进框架。 ClawLoop 将三个阶段组成一个自我维持的循环：任务综合，通过两个互补的构建例程生成多样化的训练任务池，应用诊断条件的难度增长，然后进行无代理和基于代理的任务验证；训练，通过 SFT 和/或 RL 更新代理；诊断和反馈，分析代理的推出行为以生成能力分析报告，该报告将用作下一次迭代中任务合成的反馈。使用 Qwen3.6-27B 作为循环模型，ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上产生了一致的改进。迭代细化的任务进一步转移到较小规模的 Qwen3.5-4B 和 9B 模型，在所有基准测试中都有增益，独立于循环模型验证数据质量。