分层 Copula-Gumbel-Top-\texorpdfstring{$K$}{K} 路由：固定每代币路由法则下冻结专家混合的双边依赖控制

arXiv:2607.28670v1 公告类型：新 摘要：随机 Gumbel-Top-$K$ 路由器为专家混合 (MoE) 模型的每个令牌定义 \emph{路由法则}：有序专家列表和混合权重的分布。我们询问不同令牌的路由选择上的哪些 \emph{joint} 分布是可达的，同时每个单独令牌的完整路由法则保持完全固定。我们给出一个双边结构，\emph{Hierarchical Copula-Gumbel-Top-$K$} (\CGA{})。在一组相关标记内，可交换的高斯关联词与每个专家坐标处的 Gumbel 扰动正相关，这可以增加组内专家集的一致性。在不相交的组对中，可调的对立结构引入了可选择数量的负依赖性。我们证明这两种操作都使每个令牌的有序 Top-$K$ 样本、混合权重和包含概率在分布上与独立路由 \emph{在以其预路由 logits 为条件的路由层}相同；因此，有条件的预期专家流量得以保留。我们描述了由此产生的权衡：正的组内耦合只能增加相对于独立路由实现的专家负载的方差，而非负的跨组反对只能在相同的组内强度下相对于平坦耦合减少它。因此，相干性和负载分散是由不变性约束面上的两个互补的相关度盘控制的。由于基本模型未受影响，因此转盘可以由冻结特征上的小型控制器驱动，并可使用分数函数估计器进行训练：冻结网络仅在前向进行评估，并且梯度仅限于控制器。最初的小规模试点验证了机制和训练路线，但没有建立任务级别的微调增益。