KV 缓存压缩的消融、统计推断和验证

2026-07-14 1 阅读约1分钟阅读 Paolo D'Alberto, Ashish Siarasao, Elliott Delaye, Rajeev Patwari

arXiv:2607.09683v1 公告类型：新摘要：本研究系统地比较了 Turbo-Quant 和 SpectralQuant KV 缓存压缩，评估非支配方案，包括使用 Beta Lloyd-Max 和 QJL 进行 WHT 轮换，通过统计验证方法将系统编解码器差异与实现差异分开。主要发现表明，虽然基于特征基的方法由于协方差不稳定而在重尾数据上失败，但它们在结构化体系中表现出色，有效语义维度 ($d_{eff}$) 适应校准预算而不是真实的数据排名。（这是摘要中的摘要，谢谢）

订阅66必读