智能AI
morning
PRQuant：低开销推理的排列残差量化
摘要
arXiv:2609.22106v1 Announce Type: new Abstract: Accuracy of Low-bit quantization of linear layers is often dominated by a small number of outliers. Although existing methods, such as smoothing, rotati...
and
the
residual
that
PRQuant
weight
compensation
contiguous
tail
new
2026-09-22
1 阅读
约1分钟阅读
Peiran Wang, Anqi Wang, Jiaying Zhao, Huiwen Yang, Zhenyu Ming, Rongqian Wang, Yiwu Yao, Kun Tian, Xin Yao, Gong Zhang, Fan Yang, Zhongyi Huang
字号:
arXiv:2609.22106v1 公告类型：新 摘要：线性层低位量化的准确性通常由少量异常值决定。尽管现有的方法（例如平滑、旋转或基于残差的方法）可以缓解这个问题，但它们经常会给权重带来新的准确性瓶颈。此外，大多数这些技术都是作为在线方法实现的，这可能会导致大量的执行开销。为了解决上述问题，我们提出了 PRQuant（排列残差量化），这是一种免训练且低开销的框架，它将通道重组与静态权重侧残差补偿相结合。在 AWQ 式缩放之后，PRQuant 识别对权重量化误差贡献最大的输入通道，将它们排列成连续的尾部块，并离线构建其剩余权重子张量。在推理过程中，这种连续的结构使激活端能够无缝地使用尾部块，而无需昂贵的在线收集操作，并将分散的残差补偿转变为常规的尾部增强的GEMM，从而大大减少了延迟。实验证明PRQuant有效降低了下投影重建误差。消融研究证实，平滑和残差补偿是数值改进的主要驱动力，而排列提供了一致的边际数值效益，更重要的是，实现了硬件友好的连续布局，消除了动态收集开销。总体而言，PRQuant 在五个下游基准测试中的平均准确度优于默认 MXFP4 和评估的 PTQ 基线，在 Qwen3-4B-Instruct-2507 和 Qwen3-30B-A3B-Instruct-2507 上分别比 MXFP4 提高了 1.24 和 0.55。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱