RAPID：可靠性感知对重要性蒸馏

arXiv:2609.05481v1 公告类型：新 摘要：示例间关系蒸馏通过匹配小批量内示例之间的关系来传输教师的表示几何。计算所有对在批量大小上具有二次复杂度，而均匀子采样可能会低效地使用有限的关系预算。我们引入了可靠性感知对重要性蒸馏（RAPID），它将可靠性门控关系目标与完全支持的自适应对建议分开。可靠性决定了强调哪些教师关系，而校准的教师熵和分离的师生残差决定了评估哪些关系。精确的逆提议校正使得损失和梯度估计器相对于门控小批量目标有条件地无偏。我们在两种文本分类设置中评估 RAPID：AG News 使用三对种子进行 BERT 到 DistilBERT 蒸馏，关系预算为 256；SST-2 使用 DistilBERT 到 DistilBERT 蒸馏，使用三对种子和 64 关系预算。可靠性门控关系蒸馏在两个数据集上实现了观察到的最高平均学生准确率：AG News 上为 94.285 正负 0.054%， SST-2 上的 88.800 正负 0.532%。 RAPID 排名第二，分别达到 94.241 正负 0.025% 和 88.685 正负 0.462%，而交叉熵基线的 94.154 正负 0.124% 和 87.271 正负 0.162%。试点评估与主要关系评估计入相同的总预算。在这两种设置中，门控目标产生最高的平均精度，而自适应提案保持在种子级别变化范围内。这些结果支持模块化观点，即目标可靠性和评估优先级是可分离的设计维度。