AgentKVShift：代理内存系统的高效 KV 缓存重用

arXiv:2607.21604v1 公告类型：新 摘要：内存增强的 LLM 代理通过代理内存系统维护数百次交互的上下文，该系统使用 LLM 生成的元数据（例如摘要、关键字和标签）主动管理检索到的内容。从推理成本的角度来看，每次检索都会触发这些结构化内存单元完全重新编码为键值 (KV) 状态，这决定了预填充延迟。现有的免训练 KV 重用方法通过有选择地重新计算一小部分标记来缓解这一问题，但它们是为 RAG 风格的原始段落而设计的，并且会降低结构化代理记忆的性能。我们提出了 AgentKVShift，这是一种无需训练、探针引导的 KV 残差校正方法，可针对每个检索到的内存单元进行操作。我们展示的关键见解之一是，每个内存的 KV 重用残差分解为共享内存级偏移加上小的令牌波动。通过小探针集估计此偏移量使我们能够通过单个加权校正来校正每个重复使用的标记。与之前决定重新计算哪些令牌并使缓存的其余部分保持陈旧的重用方法不同，AgentKVShift 还会纠正不重新计算的令牌，将刷新预算转变为整个块中的有用信号。在跨越 3B 到 32B 参数的四个开源 LLM 和两个长期代理内存基准测试（长期对话和代理应用程序）中，AgentKVShift 实现了接近完全的重新计算性能，同时仅刷新 10-30% 的缓存，在相同的重新计算比率下优于基准。它需要高达 5 倍的重新计算才能达到这种接近完整的性能，而之前的重用方法只能在 45-55% 的刷新率下实现。在这种情况下，AgentKVShift 在单个 A100 上的预填充速度比无 KV 重用的速度快 2-3.5 倍。 AgentKVShift 与 KV 缓存量化正交组合，在激进的 2 位和 4 位设置下保留了先前重用方法 2 倍以上的 F1。