ADIndex：通过组级蒸馏进行层自适应稀疏注意力索引

arXiv:2611.12956v1 公告类型：新 摘要：DeepSeek 稀疏注意力（DSA）通过 token 级选择降低注意力的计算成本。然而，它的索引器仍然对每个查询的整个因果前缀进行评分，使得索引成为长上下文推理中延迟的主要来源。值得注意的是，在长上下文长度下，仅索引器就可以占总预填充 GPU 时间的 50% 以上。为了解决这个瓶颈，我们提出了 ADIndex，一种用于令牌级稀疏注意力的自适应和蒸馏驱动的索引方法。 ADIndex 集成了三个关键组件：（i）分层校准策略，该策略自适应地适应跨查询检索重叠，其动机是我们对明显的层间异质性的观察； (ii) 一种组级蒸馏方案，利用这种异质性来有效地训练自适应分层组索引器，从各个查询中捕获显着的检索信号； (iii) 低延迟推理策略，通过查询组内的令牌库共享来减少重复的全前缀扫描，同时保留特定于查询的细化。 DeepSeek-V3.2 和 GLM-5.1 上的实验表明，ADIndex 在 LongBench、LongBench v2 和 RULER 上保留了近乎无损的任务性能，同时比标准 DSA 提供了显着的效率提升，包括在跨分层重用配置的上下文长度为 256K 时，预填充和解码内核加速分别高达 6.22 倍和 3.40 倍，以及端到端服务加速上下文长度为 128K 时为 1.54 倍。