智能AI
morning
使用 Fisher 信息距离对神经架构进行最优剪枝
摘要
arXiv:2609.16129v1 Announce Type: new Abstract: A new scheme for parameter pruning is introduced, derived from the differential-geometric distance in model space. Pruning a parameter sets its value to...
the
pruning
and
for
distance
model
parameter
new
geodesic
This
2026-09-17
1 阅读
约1分钟阅读
David S. Berman, Yen-Yu Fu, Edward Hirst, Thelma Chiwete Obirai
字号:
arXiv:2609.16129v1 公告类型：新 摘要：引入了一种新的参数剪枝方案，该方案源自模型空间中的微分几何距离。修剪参数将其值设置为零，表示模型到该参数消失的超曲面的位移。从未剪枝模型到该超曲面的最小距离自然是通过模型空间中的测地距离计算的，该距离由 Fisher 信息度量确定。这个距离决定了模型在剪枝下的真实变化及其性能。通过逐步分析该测地距离的更忠实的近似值，确定了修剪方法的自然最优层次结构。这从传统的幅度剪枝开始，然后发展成新的更复杂和有效的剪枝方案。该方法在 MNIST 和 CIFAR-10 上、在完整的 $0$-$100\%$ 修剪范围和五个随机种子上针对完全连接的网络和视觉转换器进行了演示。在所考虑的每个架构和数据集组合中，无论是在精度还是马修斯相关系数上，它都优于参数大小和仅局部 Fisher 信息的剪枝。此外，对不同级别的测地线近似的分析会产生计算效率高且保持接近最佳性能的中间剪枝方案。这种几何图不仅为人工智能模型提供了最先进的修剪方法，而且还为修剪方案提供了经过验证和数学驱动的合理性。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱