智能AI morning

QuIDE:通过主动优化掌握量化智能权衡

2026-05-13 1 阅读 Xiantao Jiang
arXiv:2605.10959v1 公告类型:新 摘要:目前没有统一的指标来评估量化神经网络的效率。我们提出了 QuIDE,它围绕智能指数 I = (C x P)/log_2(T+1) 构建,它将压缩精度-延迟权衡压缩为单个分数。跨六种设置的实验——SimpleCNN(MNIST、CIFAR)、ResNet-18(ImageNet-1K)和 Llama-3-8B——展示了任务依赖的帕累托拐点。 4 位量化对于 MNIST 和大型 LLM 来说是最佳选择,而 8 位量化是复杂 CNN 任务(ImageNet 上的 ResNet-18)的最佳选择,其中 4 位 PTQ 会灾难性地降低准确性。准确度门控变体 I' 正确标记了这些不可行的配置,而原始 I 会奖励这些配置。 QuIDE 为混合精度搜索提供了可重复的评估协议和即用型适应度函数。