首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

还在苦恼「长上下文」?Agent直接上手缩KV缓存

2026-11-18 1 阅读 约10分钟阅读 机器之心
分享:
字号:
用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。 codex 通过总结来进行上下文压缩 目前常见的 上下文工程(Context Engineering) ,主要通过裁剪 [1] 或总结 [2] 来 压缩历史文本 。然而,早期文本一旦被修改,模型已经计算的后续缓存(KV cache)会随即失效,剩余文本必须重新输入模型计算(re-prefill),引入额外延时和成本。此外,压缩也会丢失历史信息,影响 Agent 任务的成功率。 缓存工程和上下文工程执行相同任务的成本和准确率 针对这一问题,清华与香港中文大学的研究团队提出了 缓存工程(Cache Engineering) ,并开源了对应的推理系统 AKV。缓存工程不压缩历史文本,而是允许 Agent 直接管理后续推理使用的缓存(KV Cache) ,同时加速运行、降低成本并提高任务成功率。在三个模型、四个 Agent 任务的评测中,缓存工程相比上下文工程, 平均推理成本降低 27.7%,平均任务成功率提升 1.7%。 本文的共同第一作者为清华大学电子系 NICS-EFC 实验室的博士生傅天予、本科生王若溪和闵子涵。 论文标题:Cache Engineering for Agents 论文链接:arxiv.org/abs/2610.28577 项目主页: fuvty.github.io/thinking_yard_project_page/projects/akv/ 开源代码:github.com/thu-nics/AKV 上下文工程:重算缓存引入额外代价 以「通过多轮网页搜索回答用户问题」为例,上下文工程的做法是删掉已阅读的旧网页。这看起来只是少了一些文字,但后续推理的 KV 缓存,是在「读过这段网页」的条件下算出来的。删掉前文后,就得把保留部分重新算一遍,这就是 re-prefill。 论文发现,在 BrowseComp-Plus 任务上,如果只保留最近 12 轮工具调用的结果,总推理成本反而会达到完整上下文的 1.85 倍。这揭示了上下文工程的主要问题: 直接修改上下文,导致缓存重算,引入的额外成本有时反而超过其省下的成本。 研究团队因此把关注点转向缓存本身:能否少读一些缓存,同时让已经算好的状态继续用? 缓存工程:直接管理缓存,避免缓存重算 相比上下文工程的文本修改, 缓存工程 保留所有历史文本,直接缩减不再需要的 KV,继续复用其余缓存。 保留下来的 KV 还可能携带已移除历史的信息。例如,旧网页参与过后续推理,即使网页自身的 KV 缓存被移除,后续推理的 KV 缓存仍可能保留其中的部分信息。 修改文本前缀需要重算后续缓存;直接移除部分 KV,则可以继续复用保留的状态。嵌套色块表示保留状态可能携带此前历史的信息 在缓存工程中,团队提供了三种操作: Append:追加 KV。 计算新 token 并将其加入缓存。 Drop:移除 KV。 让选中的 KV 退出后续计算,减少后续计算。 Repos:位置编码重排。 调整保留缓存的位置编码,避免超出模型支持范围。 与操作文本不同的是, 直接操作缓存能够复用已经计算过的缓存,并不需要缓存的重算。 Agent 与 Harness 可以根据任务进展组合缓存操作,决定每一步实际使用哪些缓存。 AKV:支持缓存操作的推理服务系统 为了实现缓存操作,研究员团队基于 SGLang [3] 开发了对应的模型推理系统 AKV。对使用者来说,AKV 的接口很简单:照常提交完整消息历史,再附上缓存操作记录,说明何时移除哪些 KV、何时重排位置。 论文中的请求示例。messages 保留完整消息历史,cache.drop 指定缓存移除操作,cache.reposition 指定位置重排操作。右侧标注用于解释,不属于实际请求 JSON 图中的 messages 保留完整消息历史; cache.drop 中的 "1": [0] ,表示处理完消息 m₁ 后移除消息 m₀ 的 KV; cache.reposition 中的 [2] ,表示处理完消息 m₂ 后执行 Repos。 这样,Agent 可以专注于「保留什么、何时移除」,具体如何复用、释放和恢复缓存,由 AKV 负责所有细节,包括: 判断哪些缓存可以复用。 同时核对文本与操作历史,避免把不同来源的状态混用。 释放不再需要的缓存。 某个请求移除了 KV,也要确认其他请求是否还需要它,才能回收对应存储。 恢复缺失的状态。 在一次 prefill 中重建所需缓存。 要实现支持缓存操作的推理系统,团队主要解决了缓存状态匹配的问题。 同样的文本,经历不同的操作顺序,可能对应不同的 KV 状态。 如下图所示,对 A、B、C 三段信息,先生成 C 再移除 A 的缓存,与先移除 A 的缓存再生成 C,最后都留下 B 和 C,但 C 生成时能看到的缓存不同,最后得到的 C 的状态也就不一样。AKV 通过扩展的 radix tree(如下图 c)能够正确高效处理所有的缓存操作。 三条轨迹最终都保留 B 和 C,最终的状态却不一样。扩展的 radix tree 同时记录文本与操作历史,区分不同来源的缓存 实验结果:任务表现与服务效率 研究团队在 MiniMax-M2.7 [4]、GPT-OSS-120B [5] 和 MiroThinker-1.7-Mini [6] 上进行评测,覆盖 BrowseComp-Plus [7]、GAIA-Text [8]、SWE-bench Verified [9] 和 xbench-DeepSearch-2510 [10] 四个 Agent benchmark,包含搜索与软件工程任务。 在这组评测中,相比 Standard,AKV 的 平均推理成本降低 27.7%,平均成功率提升 1.7 个百分点 ;相比 Text Engineering,平均成本也降低了 21.9% 。 这些结果来自三种设置的比较。其中,Standard 和 Text Engineering 属于 Context Engineering,AKV 使用 Cache Engineering: Standard: 达到较高上下文阈值后触发摘要。 Text Engineering: 采用与 Standard 相同的摘要策略,但将触发阈值统一降低到 48K token。 AKV: 保留推理状态和最近 12 条工具回复的 KV。 论文主结果表。Score 为任务成功率(%),Cost 为平均单任务成本(美分),灰色行表示 AKV 推理服务速度也有提升: 在 8 张 A800-80GB GPU 上,研究团队使用 GPT-OSS-120B,AKV 的 输出吞吐量达到 Standard 的 1.18 倍,P95 请求延迟缩短约三分之一, 对应约 1.51 倍加速。 不同并发下的系统吞吐量与延迟。AKV 减少了参与推理的 KV,缓解了高并发下的缓存容量压力和重算开销 这些收益也体现在实际完成任务的过程中。在另一组 SWE-bench Verified 的任务中, AKV 用更少的 GPU 时间达到了更高的成功率。 GPT-O
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱