让AI自己给大模型做后训练：AIBuildAI开源自主进化PostTrain Agent，登顶PostTrainBench

给定一个基座模型、一个目标能力和算力预算，RSI Agent 自己设计后训练算法、收集和整理数据、写代码、跑实验、迭代改进，最终交出一个训练好的模型，全程无人介入。在自主后训练基准 PostTrainBench 上，它以 46.6 分排名第一，超过所有前沿模型与 Agent 系统，接近人类专家表现（51.1）。 近日，AIBuildAI 团队发布了 PostTrain Agent ，一个用于自主后训练大语言模型的递归自我改进（RSI）Agent，并开源了全部代码与配套知识库。 开源地址：https://github.com/aibuildai-inc/aibuildai-llm-posttrain-agent 知识库：https://github.com/aibuildai-inc/aibuildai-knowledge-base 技术报告：https://github.com/aibuildai-inc/aibuildai-llm-posttrain-agent/blob/main/docs/aibuildai-llm-post-train-agent.pdf 为什么需要自动化的后训练 后训练（post-training）是把一个基座模型变成能遵循指令、会推理、会用工具、懂某个领域的模型的过程——也是一家公司把通用模型变成「自己的模型」的方式。它涉及的决策不少：用什么数据、怎么配比；用监督微调（SFT）、偏好优化还是强化学习；学习率、训练步数、最后交付哪个 checkpoint。 这些决策彼此耦合：合适的算法取决于数据配比，有效的数据配比又取决于基座模型。交付一个后训练好的模型，往往要一个有经验的团队花上数周，每次实验还要消耗可观的算力。AIBuildAI PostTrain Agent 研究的问题是：能否把这件事完全交给 AI—— 输入基座模型、目标能力和算力预算，Agent 自己完成后训练的全部流程，输出一个后训练好的模型。 PostTrainBench：给 Agent 的一道考题 PostTrainBench（Rank et al., ICML 2026）把这个问题做成了一个基准：给定基座模型（如 Qwen3-4B-Base）和目标能力（如工具调用），Agent 在单张 H100 上、10 小时内自主设计并执行后训练方案，产出的 checkpoint 在基准方持有的、Agent 看不到的评测集上打分。基准覆盖 4 个基座模型和 7 类任务：数学推理（AIME 2025、GSM8K）、写作（ArenaHard Writing）、通用问答（GPQA）、健康咨询（HealthBench）、代码（HumanEval）和函数调用（BFCL）。 用哪些外部数据、怎么混合，用监督微调、偏好优化还是强化学习，超参数和训练框架——全部由 Agent 自己决定。 图 1｜PostTrainBench 的任务设定：输入基座模型和目标能力，Agent 在单张 H100、10 小时内自主设计并执行后训练，产出的 checkpoint 在 Agent 看不到的评测集上打分。 从一条线到一棵树 榜单上的基线做法，是把一个编码 Agent（如 Claude Code）直接指向这个任务：一个会话、一个 CLI 环境，给它基座模型、数据、GPU 和评测器，让它自己规划、写代码、训练、评估。这样的 Agent 是 线性搜索 的：每次尝试都是在修改上一次，方案很早就定下来，之后一路跟着走；几个截然不同的思路无法并行探索，一条已经走不通的方向会把剩余预算全耗掉。它的数据、方法和超参数选择也只来自模型自身的参数化知识。 AIBuildAI 此前的系统（AIBuildAI Science、AIBuildAI-2.5）用的是 整实验树搜索 ：一次运行是一棵实验树，每个节点是一次完整的实验，由任务自己的评测程序打分，运行的价值就是树上的最高分。「设计员」Agent 播下若干条刻意互异的起始方案，每条方案是一个分支的根；「实验员」Agent 端到端地跑完一个实验并提出几条修改，成为子实验；「选择器」按预期收益、证据、新颖性和成本给等待 GPU 的候选实验排序。 图 2｜整实验树搜索：设计员给出若干互异的起始方案，实验员逐节点完成整个实验并提出修改，选择器为候选排序；每个节点由任务自己的评测程序打分。 但直接把这套流程搬到后训练上，暴露出两个限制： 一是它不懂这个领域 ——实验员只能凭语言模型内部知识作答，典型错误包括选了没有任何库实现的方法、用了和评测集重叠的数据集、套用了另一种模型规模的超参数，每个错误都要花一整次训练才能发现； 二是它在了解任务之前就定死了搜索的拓扑 ——树的每个节点都必须是一个打过分的模型，而「生成数据」这样的阶段没有分数、做不了节点；把不同节点里训练好的几个模型合并成一个（fan-in），树搜索也表达不了。针对这两个问题，新系统引入了两个核心组件：知识系统和元搜索。 图 3｜AIBuildAI PostTrain Agent 系统总览：元 Agent 调研任务并写出搜索程序，由它派生的实验员 Agent 和程序负责执行，所有 Agent 共用同一套知识系统。 知识系统：让 Agent 依据证据而非记忆做决策 AIBuildAI PostTrain Agent 的知识系统是一个通过 MCP 提供服务的远程检索知识库，里面是一套「知识文件」，分四个子库： 工作流 （一次后训练运行的 13 个有序步骤、34 份文件，每步说明要落定的判断、一个具体案例和它的适用边界）、方法（111 份文件：监督微调、DPO、GRPO、蒸馏等，各自需要什么、花费多少、有哪些参数和默认值）、 数据集 （215 份文件：许可证、切分、加载代码、样本行，并标出哪些是评测基准、必须隔离）、 框架 （108 份文件：何时选它、如何启动、监控和保存一次训练）。 图 4｜AIBuildAI PostTrain Agent 知识系统：实验员带着问题查询知识库，取回匹配的知识文件，并在实验结束后把观察写回。 每份知识文件都从公开来源（论文、库代码、Hub 上的数据集说明、公开训练记录）收集，经人工确认范围、检查许可和切分、从代码中实测事实后，按统一模板写成，每条声明都带 URL 和日期；任何提到评测基准的文件都会被剔除出语料。实验员在面临设计决策时，把「任务、当前方案、哪里出了问题」发给知识库，拿回匹配的知识文件，据此决定下一步；跑完的实验也会把观察写回，知识随之增长。 这些文件记录的不是教程，而是可以直接据以行动的判断。以工作流的第一步为例，它要求 Agent 在选任何数据之前先读懂「分数到底奖励什么」：评分看的是最终答案还是整段回复，格式错误是否直接记零分，推理过程有没有分；然后在未经训练的基座模型上完整跑一次官方评测器——得到的数字才是基线，跑一次的耗时则是后面分配预算时的「单次评测成本」。方法文件则给出每种方法的适用条件、目标函数、一个带数字的算例、需要的数据形态和额外模型，以及哪些库提供了现成实现。 元搜索：搜索的拓扑本身成为 Agent 的输出 不同的任务需要不同形状的搜索。线性搜索适合方案已定、只需反复打磨同一种方法流程的情形；树搜索适