特工自演进驶入“双轨时代”！open九文基于TTSE经验学习框架

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> Agent自演进驶入“双轨时代”！openJiuwen首发TTSE经验学习框架 思邈 2026-11-10 15:56:29 来源： 量子位 允中 发自 凹非寺 量子位 | 公众号QbitAI Agent越用越强，为什么还会被环境“绊倒”？ 你的同事用Agent整理报表，一路顺畅。你用同样的模型、工具和流程，换成自己的文件，却开始反复试读、频繁返工。 模型没变，Harness没变，换个环境，为什么就不灵了？ 文件位置不同、数据格式混杂、模板约束变化，都可能让原本有效的方法失效。模型提供推理能力，Harness组织执行流程，但Agent仍需判断： 这里的环境是什么样的，过去的经验还适不适用？ 这也揭示了Agent持续自我改进过程中一个容易被忽视的问题： Agent不仅要从任务中学会“怎么做”，还要判断这些经验在什么环境下仍然有效。 在RSI（Recursive Self-Improvement，递归自我改进）的持续优化过程中，Agent可以通过任务反馈改进执行方法、积累可复用经验。但如果环境认知没有同步更新，过去有效的经验也可能成为新的障碍：接口条件变了，还在重试旧调用；数据格式变了，还在沿用旧规则。 一次失败，究竟该改方法，还是该纠正对环境的认识？ Agent的新难题，藏着认知科学的老线索 认知科学对知识结构的研究，为区分这两类问题提供了启发： 1983年，认知科学家John R. Anderson在ACT-R相关理论研究中，系统讨论了人类知识中的两类重要形式： 陈述性知识（Declarative Knowledge） ：描述“世界是什么样的”。例如，关闭的容器会遮挡内部物体，打开后才能观察。 程序性知识（Procedural Knowledge） ：描述“应该如何行动”。例如，需要寻找多个同类物体时，找到第一个之后，还应继续检查其他可能的位置。 随后，Larry Squire等研究者从神经心理学上确认了这种分离有 生物学基础 ——两类知识由不同脑区负责，学习速率和提取方式都不同。 将这一视角引入Agent，就能看到： 认识环境与掌握做法，彼此关联，却需要不同的验证与更新方式。 环境判断要核对是否符合现场事实，行动方法要检验在相应条件下是否有效。混淆两者，就可能把偶然成功的操作当成稳定规律，或在环境变化后继续沿用失效的方法。 沿着这一思路，openJiuwen在 RSI 方向的持续探索中，进一步提出 TTSE（Two-Track Self-Evolution，双轨自演进） 。 在此前发布的双维度RSI框架介绍中，openJiuwen已通过 Harness+Artifacts双维度优化 ，让Agent能够基于真实任务反馈，持续改进工作方法与交付成果。而TTSE则进一步聚焦 经验本身的可靠性与可复用性， 不仅让Agent积累有效的执行方法，还要持续校正对环境的认识，避免经验在环境变化后失效。 为此，TTSE借鉴认知科学中对陈述性知识与程序性知识的区分，将任务中获得的经验分为两条轨道： FACT（环境事实） ：持续核对和更新“这个环境是什么样的”。 TIP（条件式技巧） ：持续改进“在这些条件下应该怎么做”。 TTSE双轨框架：构建反馈驱动的经验自演进闭环 分清经验的类型，只是第一步。 如何让Agent从任务反馈中持续学习，并将有效经验转化为下一轮执行的改进？ 这也是RSI的核心思路：通过真实任务反馈驱动改进，并在后续执行中不断验证和优化。TTSE将这一思路落实到经验管理层面，通过分批执行任务，让已有经验持续接受新证据的检验，判断哪些经验值得保留、哪些需要修正或退役，再将更新后的经验用于下一轮任务。 框架由 双轨知识表示、冷启动、在线增量演进、最终输出与评估 四个部分组成，如下图所示： ① 双轨知识表示：让环境事实与执行方法各有依据 FACT用于描述环境本身的属性与规律，强调可直接验证，以及在适用场景下的跨任务稳定性；TIP用于描述特定任务条件下的执行方法，采用“ 在什么条件下，执行什么操作 ”的形式表达。 两类知识分别维护 独立编号、呈现方式与证据追踪机制 。这使每条经验都能被单独引用、核对和更新，也便于在执行出现问题时，追溯具体是哪条事实判断或操作建议产生了影响。 分类时，框架结合经验所描述的主体与作用进行判断（展开如何进行分类根据mechanism）；难以确定的内容默认归入TIP，降低将未经充分验证的操作经验误当成环境事实的风险。 ② 冷启动：从首批任务中归纳初始经验 TTSE从空规则库出发，由Agent执行首批任务（chunk 0），再根据执行轨迹分别归纳FACT与TIP，建立初始双轨经验库。 这一阶段以归纳为主。由于尚无历史规则参与执行，因此不进行旧规则的归责与退役，而是为后续演进建立第一批有任务证据支撑的经验。 ③ 在线增量演进：在新任务中检验并修正已有经验 后续任务按批次推进。每一轮，Agent加载上一轮的FACT与TIP，利用已有经验执行当前批次任务，再根据执行轨迹和评估结果，依次完成四个环节： 归因（Blame） ：分析失败轨迹，识别可能误导执行的规则，为经验修正定位对象。 退役（Retire） ：将被归责的规则移入退役池，并保留原因、批次和时间等记录，使调整过程可追溯。 矛盾分析与合成（Contradict / Synthesize） ：检查退役规则中的矛盾，尝试识别其中隐含的适用条件，将看似冲突的经验合成为条件更明确的TIP。 归纳（Induce） ：对比成功与失败轨迹，或从成功轨迹中提炼有效经验，通过新增、修订、确认与移除等操作，更新双轨经验库。 Blame→Retire→Contradict/Synthesize→Induce 在多个任务批次间循环运行，使经验持续接受新证据的检验：既更新对环境的认识，也调整相应条件下的执行方法。 ④ 最终输出与评估：检验经验演进带来的实际收益 经过多轮增量演进，框架输出最终的FACT与TIP经验库，并在测试任务中评估其对准确率或任务表现的影响。 这套机制的核心，是让 环境事实与执行方法分别沉淀、各自可追溯，并在持续执行中得到检验与修正 。Agent每完成一批任务，都能将新的交互证据转化为下一轮可使用的经验，逐步形成从环境交互到知识更新、再到行动改进的闭环。 “但一个关键问题仍待回答：将环境事实与行动技巧分开演进，是否真的比传统的单轨经验管理更有效？” 从机制到实证：五大基准，验证TTSE双轨自演进的有效性 TTSE的方法论与实验结果已在论文A Two-Track Online Self-Evolution Framework for LLM Agents中展开研究。 为了验证双轨经验机制是否真正有效，研究团队在 ALFWorld、ScienceWorld、GDPevo、SOPBench和PinchBench五个基准 上进行了评测，每项实验均进行三次独立重复，以考察方法的实际收益与运行稳定性。 五大基准，呈现多