长视野语言智能体中的重尾记忆痕迹

摘要

arXiv:2610.00010v1 Announce Type: new Abstract: Long-horizon language agents increasingly rely on external memory as a frozen world model, yet current memory systems are usually judged only by task su...

memory and tail token that the retrieval agents world are

2026-10-02 1 阅读约1分钟阅读 Xinyuan Song, Zekun Cai

arXiv:2610.00010v1 公告类型：新摘要：长视野语言智能体越来越依赖外部记忆作为冻结世界模型，但当前的记忆系统通常仅根据任务成功或代币成本来判断。我们认为，缺失的对象是记忆使用的形式：在有限的上下文和重复检索下，智能体记忆可以集中在一个小核心上，而在长尾中留下罕见的状态，在那里预测错误会累积。我们通过保守的尾部审计研究了这种效应，发现集中度是可重复的，但取决于政策。随机游走代理产生对数正态兼容的检索工件，而语义 LLM 策略产生最强的截断幂律兼容的核心尾迹。受此审计的启发，我们提出了核心-尾部世界模型（CTWM），这是一种基于等级的内存控制器，它使用单个指数 $\tau$ 分配即时预算，同时保留汇总的尾部。在合成图世界中，相对于图内存基线，CTWM 保留了完整的状态和转换覆盖范围，将提示标记减少了 5.9%，并将下半尾部预测误差降低了 13.6%。相同的配对比较在 ALFWorld 上提供了一致的代币节省，在 LongMemEval 上提供了 24.48% 的代币减少，并且总体精度奇偶校验。这些结果表明，重尾记忆痕迹不仅是有限检索的诊断，而且还是令牌高效代理世界模型的实用控制信号。

订阅66必读