从记忆到自进化：Agent 走向 RSI 的关键一步

机器之心发布 近期，全球顶尖 AI 实验室正在密集释放一个信号： AI 正在 从帮 助人类完成任务，走向参与自身的研发与改进。 9 月，OpenAI 宣布已经实现「自动化 AI 研究实习生」的阶段性目标，并计划在 2028 年 3 月前打造真正的「自动化 AI 研究员」。OpenAI 首席科学家 Jakub Pachocki 同期发表长文，讨论了递归自我改进（Recursive Self-Improvement，RSI）的发展前景。9 月 21 日，OpenAI 又进一步将自动化 AI 研究员以及持续改进 AI 研发能力，列为下一阶段的重要战略方向。 OpenAI 于 2026 年 9 月 21 日发布官方战略声明，将自动化 AI 研究员和递归自我改进列为下一阶段的重要目标 另一边，Anthropic 也公布了一组引人关注的数据：截至今年 8 月，Claude 已经在约 26% 的内部 AI 研发工作中承担主导角色 ，越来越多原本由研究人员完成的研发任务，开始交由 AI 在人类监督下执行。 从 OpenAI 到 Anthropic，RSI 正从遥远的技术设想，进入全球顶尖实验室的核心研发议程。 AI 不再只是解决外部问题的工具，也开始参与推动自身能力的发展。 但这条持续进化的道路， 最核心的关键在于 ： AI 如何让过去的探索与试错真正成为下一次进步的基础，而不是每次面对新任务都从头开始？ 记忆是支撑 Agent 持续自我改进的关键基础。 它让每一次探索留下的不只是任务结果，还有能够被后续任务继承和复用的经验，使 Agent 的能力提升有机会跨越单次任务，在持续积累中不断进化。 01 ｜从经验积累到持续进化： 记忆如何支撑 RSI 要让 Agent 在持续执行中不断提升能力，关键是让经验能够跨越单次任务： 从过去的探索中沉淀有效方法，在新的任务中准确调用，并根据执行结果不断修正和优化。 其中，记忆写入与检索承担着两个相互衔接的关键环节。 记忆写入需要从复杂执行轨迹中识别有效方法、失败结论及其适用条件，让过去的任务真正留下可复用的经验；记忆检索则需要根据新的任务需求，准确找到适用的历史方法与关键证据，避免经验遗漏和错误迁移。 更进一步，任务反馈还能够反过来检验经验的实际价值。通过持续更新记忆内容，并将有效反馈用于记忆基础模型训练，推动记忆自身的能力提升，形成经验积累与 Agent 改进相互促进的过程。 02 ｜记忆的学习与进化： 让 Agent 从经验中持续变强 围绕 Agent RSI 中经验积累、跨任务复用与持续改进的需求，MemoraX 构建了以 经验学习、经验迁移和反馈优化 为核心的记忆能力体系，通过高质量记忆数据构造、动态记忆组织与基于真实任务反馈的优化，持续训练记忆基础模型，让 Agent 从历史经验中不断学习改进决策与执行。 从任务中学习：让经验积累成为可优化的模型能力 Agent 任务执行的过程中结果验证与策略调整会源源不断产生新的经验。 成功的决策为后续任务提供可复用的方法，经过验证的失败结论则帮助 Agent 排除无效方案、减少重复试错。 但经验的价值往往要在后续任务中才能体现，准确概括过去，并不意味着能够有效支持未来。因此，记忆学习的过程不仅需要识别值得保留的经验，还要保存其验证依据、环境约束与适用条件，避免经验被遗漏或误用，远非简单的信息摘要与压缩能够解决。 针对这一挑战，MemoraX 将 记 忆写入建模为面向未来任务收益的可学习策略，持续建设 覆 盖环境构建、数据采 集 、 样 本构造 与规模化 Agentic RL 训练的完整体系。 在可交互、可验证的任务环境中，采集执行轨迹、记忆使用记录与验证反馈，构造关联写入决策及后续使用效果的训练样本；再结合后续任务的完成质量、执行效率与重复试错情况设计奖励信号，优化记忆写入策略。这一过程使模型的优化目标从信息提炼的准确性，进一步延伸到 记忆对后续任务质量、执行效率与重复试错的实际影响 ，学习更有利于未来任务的记忆写入策略。 从经验中迁移：让历史经验指导新的任务 经验能够被保存，并不意味着它能在新任务中发挥作用。面对不同的任务目标、环境约束与执行阶段，Agent 需要准确识别适用的历史方法，避免无关信息干扰和经验的错误迁移。 为此，MemoraX 将 记忆内容与访问结构解耦 ，根据当前任务动态调整记忆访问入口和关联关系，让相同的历史信息能够适应不同的使用需求。 在检索层面，进一步 通过模型训练学习当前任务需求与历史关键证据之间的匹配关系 ，结合细粒度证据识别与相似记忆消歧，提高关键经验的定位能力，区分 “主题相关” 与 “证据正确”。 在经验使用环节，MemoraX 结合当前任务状态与执行进展， 将历史积累的通用经验转化为具有明确目标、操作约束和验证标准的行动指导 ，并随任务阶段动态调整，让历史经验真正参与 Agent 的决策与执行。 从反馈中进化：让执行结果持续优化记忆能力 在 RSI 的持续迭代中，历史经验并非始终有效。新的任务既可能验证已有方法，也可能暴露其局限。 如何利用执行反馈判断经验的真实价值，并据此不断优化记忆，是持续自我改进的重要环节。 其中的核心挑战是 Memory Credit Assignment（记忆贡献归因） ：长程任务可能调用多条历史经验，但哪些真正影响了 Agent 的决策，哪些只是被读取却未发挥作用？即使最终任务成功，如何判断不同记忆的实际贡献，仍然是一个需要解决的问题。 围绕这一挑战，MemoraX 将 记忆版本、实际使用记录与任务执行反馈建立关联 ，追踪历史经验是否真正参与了 Agent 的行动，以及使用后的任务表现与验证结果。在此基础上，持续评估并迭代已有记忆， 让有效经验得到保留和强化，并根据新的任务反馈，及时修正不再适用的经验。 这些真实反馈也为 记忆基础模型的持续训练 提供了数据基础和优化信号，使记忆的改进从内容层面的更新，进一步延伸到记忆模型对经验价值与记忆策略的学习。 03 ｜从经验积累到能力提升： MemoraX 的多场景 RSI 实践 对于 Agent RSI，更值得关注的不只是某一次任务取得了多好的结果，而是 历史经验能否被不断积累、修正，并在后续 任务中 持续产生价值。 围绕这一过程，在长程复杂 Coding 、金融分析、复杂数学推理三类任务中，分别验证了经验的持续迭代、跨任务迁移与反馈优化能力，同时进一步验证了记忆如何推动 Agent 在长程任务中的质量与效率提升。 （1）长程复杂 Coding：从经验迭代到复杂工程能力提升 长程复杂 Coding 实验在通信、金融、物流等 5 大行业，13 项工业级系统开发任务中，累计进行了 78 次开发运行，总开发时长超过 300 小时，单次最长超过 12 小时。最终，MemoraX 记忆增强方案通过率提升 20%+，同时主 Coding Agent 的累计 Token 消耗合计减少 20%+。 从经验积累到递归改进：记忆的自我迭代之路 针对传统静态记忆难以在任务执行中持续积累和优化经验的问题，MemoraX 团队提出了 Memory Model–Driven RSI（记忆模型驱动的递归自我改进）方法 ： 通过自研记忆模型与