首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

为什么低于 4 位视觉 CNN 崩溃以及混合精度恢复在哪里停止

2026-11-19 1 阅读 约1分钟阅读 Michael Schroeder
分享:
字号:
arXiv:2611.23445v1 公告类型:新 摘要:在资源受限环境中运行的深度视觉模型严重依赖于低位量化,但将权重压缩到 4 位以下经常会导致灾难性的精度崩溃。虽然混合精度恢复策略旨在通过有选择地保留高精度参数来挽救精度,但这些模型崩溃的位置和原因的基本机制仍然知之甚少。在这项研究中,我们系统地分析了在完整的 50,000 张图像 ImageNet-1k 验证集上评估的标准 Vision CNN(包括 ResNet 和 EfficientNet 主干)的量化崩溃的解剖结构。首先,我们绘制了退化的确切进展,证明崩溃是高度非线性的,并且集中在后期的逐点投影和深度层中。其次,我们引入了一个结构化的多步骤恢复瀑布,用于评估选择性整数精度 (INT4/INT8) 和选择性浮点标度。我们证明,将不到 5% 的关键层激活保持在 8 位精度,可以恢复在激进的低于 4 位压缩期间损失的精度高达 92%。最后,我们通过评估标准 ARM 和 x86 CPU 架构上的部署性能来弥补硬件现实差距。我们表明,虽然低位量化降低了内存存储要求,但标准运行时软件位解包会根据批量大小引入 1.48 倍到 21.5 倍的执行速度减慢,这凸显了模型占用空间和实际边缘吞吐量之间的关键权衡。我们的研究结果为在不牺牲硬件性能的情况下突破 4 位以下部署的限制提供了实用的蓝图。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱