Progressive$^2$：一种用于实体模型压缩的师生渐进共同进化知识蒸馏方法

arXiv:2608.00129v1 公告类型：新 摘要：知识蒸馏（KD）是一种广泛使用的技术，用于将知识从大型模型（教师）转移到较小的模型（学生）。由于其灵活性和广泛的适用性，KD被广泛应用于服务器端模型的压缩，以满足客户端用户的服务质量（QoS）要求。尽管取得了显着的进步，但当服务器的功能和客户端的需求之间存在巨大差异时，蒸馏的性能会受到严重影响。为了缓解这个问题，我们提出了一种新颖的蒸馏方法，名为 Progressive$^2$，该方法通过逐渐强大的教师和逐渐较小的学生的结合来进行操作。在教师方面，我们不是同时涉及所有层次，而是按照从原始到丰富的语义进展，逐步选择额外的层次进行蒸馏，建立系统的学习课程。此外，我们为教师设计了一个教师端多特征融合适配器，以提高训练稳定性，这在Lipschitz连续性框架的理论上得到了支持。在学生方面，我们不是直接训练一个微小的模型，而是逐渐缩小网络的大小，以促进与老师的迭代协同进化。 Progressive$^2$ 是一个灵活的框架；教师的渐进策略可以独立部署，以达到准确性和训练效率之间的最佳平衡，而教师和学生的联合整合则可以进一步提高整体表现。