熵约束自适应随机量化

摘要

arXiv:2608.18147v1 Announce Type: new Abstract: Adaptive stochastic quantization (ASQ) is a recently introduced quantization approach that optimizes the Mean Squared Error (MSE) for a given input whil...

and the quantization that for optimal solution MSE with entropy

2026-08-21 1 阅读约1分钟阅读 Ran Ben Basat, Yaniv Ben-Itzhak, Michael Mitzenmacher, Shay Vargaftik

arXiv:2608.18147v1 公告类型：新摘要：自适应随机量化（ASQ）是最近引入的一种量化方法，它可以优化给定输入的均方误差（MSE），同时保持无偏性。它旨在缓解现代数据和机器学习工作负载的通信和内存瓶颈，包括模型、梯度和 KV 缓存压缩以及最近邻搜索。此外，实际系统可以使用无损熵编码器来压缩量化数据。然而，现有的无偏方法（包括 ASQ）在选择量化值时没有考虑后面的编码阶段，从而将准确性留在了桌面上。我们制定了熵约束自适应随机量化（ECASQ）问题，该问题联合选择自适应量化值以在熵预算和无偏约束下最小化 MSE。对于长度为 d 的向量和最多 s 个量化值，我们给出了一个具有 $O(sd^2)$ 时间和 $O(d^2)$ 空间的最佳动态程序，以及一个具有 $O(sd^2)$ 时间和 $O(d)$ 空间的 GPU 友好的近似动态程序。该近似保证解的 MSE 不大于每个条目使用少一位熵的最优解。我们还为近似解提供了迭代细化过程，在我们的实验中，该过程产生接近最优的结果，同时相对于最优解的求解器保留了显着的速度优势。

订阅66必读