Agent如何越用越强？中科院自动化所、美团等推出RSI综述

从 Prompt 优化到 Harness 进化，梳理 RSI 的发展趋势，用三个问题、七步生命周期，理解 Agent 如何把经验转化为持续改进。 想象这样一个场景：一个编程 Agent 调用 API 时遇到报错，发现接口参数已经更新。经过几轮尝试，它终于修复了问题。 但到了下一个任务，它还会不会犯同样的错误？这次修复能否沉淀为一条规则、一段记忆或一项技能？再遇到新的问题时，过去的经验能否帮助它更快找到原因、提出更有效的修改？ 这些问题，正是 Agent 递归自我改进（Recursive Self-Improvement，RSI）研究关注的内容。 近日， 中国科学院自动化研究所、美团联合山东大学、中国人民大学、中科院微电子所、上海交通大学、理想汽车等多家单位 ，推出 LLM Agent 递归自我改进综述。 论文标题：When, Where, and How Experience Becomes Structure: Mechanisms for Recursive Self-Improvement in LLM Agents 论文链接： https://openreview.net/forum?id=X8epsNeCZk 综述围绕 Prompt 优化、Memory 进化、Skill 进化和 Harness 进化 四条主线，梳理 Agent 如何利用交互经验改变自身。论文选取 40 项代表性研究绘制研究全景，并对 20 项研究中的具体更新闭环展开对照分析，将分散在不同方向的方法放进同一套框架： 什么时候应该改？应该改哪里？怎样把经验变成经过验证、能够长期使用的改进？ 01 模型权重不变，Agent 也能积累能力 Agent 在完成任务时，会留下工具调用记录、执行结果、用户纠正和失败后的修复过程。这些信息可以成为下一次行动的依据，也可以用于修改 Agent 自身的组成部分。 例如，把一条被反复验证有效的约束写进 Prompt；把用户更新的信息存入 Memory；把成功的操作流程整理为 Skill；或者根据重复出现的失败，调整 Harness 中的工具接口和检查逻辑。 即使执行任务的大模型权重保持不变，Agent 的行为也可能随着这些外部组件的更新而改善。 综述重点讨论的就是这类机制，同时也分析了部分结合模型训练的方法。 其中，「递归」还带来了一层要求：保留下来的经验和组件，可以参与后续修改的诊断、生成或筛选。例如，上一次修复的记录，可以帮助系统定位下一次失败；已有的更新经验，也可以帮助它选择更有效的修改策略。 这就把研究问题推进了一步：除了让 Agent 更会完成任务，还要研究它能否更有效地改进自己。 02 三个问题，理解 Agent 自进化的关键 围绕经验如何转化为长期有效的指令、记忆、流程和运行规则，论文提出三个相互关联的问题。 When：什么时候更新，什么时候继续保留？ 任务失败、新信息到来或工具接口变化，都可能触发更新。但一个修改是否值得保留，需要进一步检查；后续任务中的表现，则决定它应当继续使用、再次修订，还是停止使用。 Where：问题出在哪里，应该修改哪个组件？ 同一次失败可能有不同原因：指令没说清楚、信息已经过期、操作步骤缺失，或者运行机制允许 Agent 跳过必要检查。修改位置需要由执行证据支持。 这四类组件按内容在执行中发挥的作用划分，可以协同工作。例如，同一条 API 规则，可以写入指令、作为记忆检索、封装成调用流程，也可以转化为调用前的参数校验。 How：怎样从经验中提炼修改，再验证并保留下来？ 执行日志需要经过分析，才能形成适用范围明确的规则或流程。候选修改还要接受效果检验，检查是否修复了目标问题、是否影响原有能力，再决定如何纳入后续运行。 论文图 1｜When、Where、How：经验如何成为 Agent 的结构。 03 四条进化主线，研究走到了哪一步？ 四类组件为 Agent 提供了不同的改进位置。沿着各自的发展脉络，可以看到研究关注点如何从生成候选内容，扩展到利用反馈修订、选择和长期维护。 论文图 4｜Prompt、Memory、Skill 与 Harness 的代表性研究全景。 Prompt 优化：从搜索更好的指令，到改进指令的生成方式 Prompt 优化的演进经历了三次重心转移。 最初的问题是：能否自动找到一条比人工撰写更好的指令？早期方法通过生成大量候选指令、在任务上评测、保留得分最高的版本来回答这个问题。它们本质上是在指令空间里做搜索。 随后，研究者发现，仅靠打分排序不够——如果能利用失败案例的具体反馈来修改指令，改进会更有针对性。于是出现了一类方法：先从错误中生成文字批评或梯度信号，再据此修订指令。反馈的来源也从简单的正确／错误，扩展到编译报错、执行轨迹等更丰富的结构化信号。 最新的进展则把优化对象推进了一层：不只优化「给任务 Agent 的指令」，而是优化「负责生成指令的那个 Agent」本身的提示词。先让优化器学会如何更好地修改指令，再用这个改进过的优化器去提升目标 Agent。 这条主线逐步深入到两个层面： 任务指令如何变得更有效，以及产生新指令的方式如何得到改进。 Memory 进化：从记住过去，到管理经验的有效性 记忆机制的演进，回应的是一个实际问题：Agent 与环境交互越多，积累的信息越多，但并非所有信息都应被同等对待。 最初，记忆解决的是容量问题——上下文窗口放不下全部历史，需要把信息存到外部，按需取回。进一步地，系统开始从成功和失败经历中提炼可复用的经验规则，而不只是存储原始记录。 当记忆条目变多，新的问题浮现：信息之间可能矛盾，同一条事实可能已经过期。例如，用户搬家后，配送任务应使用新地址，而查询过去的居住信息时仍需要旧地址。这不是简单的覆盖旧记忆，而是需要管理信息适用于谁、在什么时间有效。近期研究开始为记忆建立关联结构、标记时效、支持增删改查。 更进一步的问题是：一条记忆被检索出来，不代表它真的有用。最新工作尝试根据后续任务的实际反馈，动态调整记忆的效用估计，让检索选择参考真实使用效果，而非仅凭语义相似度。 Memory 的进化由此覆盖了内容、组织方式，以及经验如何被选中和使用。 Skill 进化：从复用一次成功，到维护一套可用的能力 Skill 将经验组织成可以选择和执行的操作流程。它通常需要说明适用条件、输入、步骤和结果要求，让 Agent 在相似任务中复用。 最早的做法很直观：Agent 完成一个任务后，把成功的操作序列保存为一段可执行程序，下次遇到类似任务时直接调用。这解决了「如何复用一次成功」的问题。 但技能库用起来以后，新的挑战接踵而来。一方面，单项技能可能不完善——缺少某个步骤、未处理边界情况，或者因环境变化而失效。近期工作开始从成功和失败的执行轨迹中提炼修复建议，持续修订已有技能。另一方面，技能越积越多后，系统还要处理重复、冲突和选择困难。一次失败可能来自选错了技能、技能缺少关键步骤，或者执行时跳过了步骤，这三者需要分别诊断和处理。 因此，一些方法开始训练独立的技能管理者，专门负责学习何时增加、修订或淘汰技能。还有工作通过移除实验，暂时删去某项技能再观察表现变化，来判断它是否仍在发挥作用。 Skill 进化同时涉及