通过可控性-可观测性测试进行深度神经网络的经验最小实现压缩

arXiv:2607.05457v1 公告类型：新 摘要：深度神经网络通常包含大量隐藏状态冗余，但大多数压缩方法直接对权重、神经元或量化表示进行操作，而没有明确表征内部状态的动态作用。本文提出了一种用于深度神经网络经验状态阶约化的可控性-可观察性框架。通过将经过训练的网络视为深度索引的非线性动力系统，我们从隐藏状态快照和输出雅可比行列式构建数据驱动的可达性、可观测性和平衡格拉米安矩阵。由此产生的 A/B/C 测试估计分层可达、可观察和联合可达（可观察）等级。这些等级不仅用作隐藏状态冗余的诊断措施，而且用作实现的简化网络的实际压缩层宽度。 MNIST 和 CIFAR-10 上的实验将所提出的平衡实现与基于投影的缩减、非结构化剪枝、结构化剪枝、低秩 SVD、动态 INT8 量化和线性基线进行了比较。在 MNIST 上，四层 SiLU DNN 从状态阶数 1024 减少到 277，提供 72.95% 的状态压缩和 73.48% 的参数压缩，同时保持 95.45% 的准确度，而完整模型的准确度为 96.60%。在 CIFAR-10 上，更大的 SiLU DNN 从状态阶数 4608 减少到 1339，提供 70.94% 的状态压缩和 83.09% 的参数压缩，同时保持精度从 54.45% 到 54.44%，并将 CUDA 推理延迟减少约 3 倍。结果表明，平衡的可达-可观察等级为设计紧凑的神经架构提供了原则性的经验最小实现标准，而精度损失很少或没有。