通过本地信任区域优化进行按策略蒸馏的代币实用程序

arXiv:2610.18883v1 公告类型：新 摘要：用于策略蒸馏（OPD）的代币选择方法使用不同的信号（包括不确定性、师生分歧和不匹配方向）对学生访问的位置进行优先级排序。相反，我们从蒸馏目标本身得出令牌重要性：在学生预测分布的本地 KL 预算相等的情况下，每个位置的损失可以减少多少？答案是效用 $s_t=g_t^\top F_t^\dagger g_t$，其中 $g_t$ 是 logit 梯度，$F_t$ 是分类 Fisher 矩阵。对于反向 KL，它等于学生-教师对数概率比的学生加权方差，对于正向 KL，它等于 Pearson $\chi^2$ 散度，因此适当的效用取决于目标的选择。在共享训练检查点上，几个独立动机的标准，包括学生熵、KL 分歧和 TIP，将其重要性集中在与 50% 选择分数的派生效用几乎相同的位置上，而在更严格的分数和特定方向的标准上则有所不同。我们将效用实例化为费舍尔效用加权（FUW），一种连续的、均值归一化的令牌加权。在七个数学推理基准和三个 Qwen3 学生-教师对中，FUW 在反向 KL（1.35-4.0 宏观点）和前向 KL（1.08-2.71 宏观点）下均改善了匹配的统一 OPD，并且与使用从训练目标导出的单个封闭形式分数的现有选择性方法相比具有竞争力。