KVFetch：KV 缓存压缩缺失一半的时间预取

arXiv:2610.08811v1 公告类型：新 摘要：随着上下文窗口扩展到数万或数十万个标记，KV 缓存压缩已成为高效 LLM 推理的关键。现有的方法分为三类：基于分数的驱逐、汇总补偿以及卸载和召回。然而，这三者都根据与当前查询的内容相关性来决定保留或回忆什么。我们证明这种共享设计在结构上是不完整的。缓存支持两种访问模式：按内容关联查找和按位置顺序遍历；当前的压缩器仅实现第一个。在实践中，差距很重要：检索增强生成、代码完成和结构化数据提取都要求模型从上下文中逐字重现标识符、字段值或代码标记。在压缩下，基于内容的逐出保留了此类序列的头部，但丢弃了其后续部分，导致逐字复制在中途不可逆地中断，我们将这种故障称为顺序遗忘。这种失败会阻碍更好的评分、更大的预算、汇总补偿和动态重新评分；它是压缩下剩余质量损失的主要来源。我们提出了 KVFetch，这是一种免训练的插入式框架，可为任何基于分数的压缩器打开时间回忆通道。它将被逐出的候选者降级到量化的冷层，通过单调读指针检测主动复制，并将位置后继者预取到固定大小的热层槽中，而不会增加注意力成本。在 iso 预算控制下的 RULER-16K 上，KVFetch 将逐字复制从 0.8 恢复到 78.4，并将 13 任务平均值提高了 +8.4，增益主要集中在需要顺序访问的任务上。在 LongBench 上，没有任务需要顺序访问，通道保持休眠状态并且不产生任何成本。