DoSA：点稀疏注意力

arXiv:2610.13990v1 公告类型：新摘要：稀疏注意力访问很少的键，但找到它们仍然需要用每个索引器头对每个键进行评分。我们引入了 DoSA（点稀疏注意力），这是一种无损方法，可以使计算成为有条件的，同时保留精确的标记选择。其核心观察是，Top-K 选择需要足够的证据来拒绝候选人，而不一定是其满分。种子集提供了获胜阈值的下限。非负头部投影和联合残差界限限制了正贡献的上限，而激活通知聚合限制了负头部减去的幅度。该证书将满分计分给仍然符合资格的候选人；精确分数过滤进一步减少了写回和选择工作。我们建立证书及其精确选择条件，并分析几何形状和选择裕度如何控制其有效性。我们的 GPU 实现在英语、中文和代码工作负载上将整个索引器的速度比 SGLang 提高了 2.74 倍，比 LiteTopK 提高了 1.69 倍。 GLM-5.2 和 DeepSeek-V3.2 的端到端评估在两个基线上分别实现了高达 1.94 倍和 1.50 倍的首次令牌时间加速。