CausalGate：变压器模块修剪的因果重要性蒸馏

arXiv:2607.22720v1 公告类型：新摘要：大型语言模型的现有自适应推理方法依赖于观察启发法（例如隐藏状态相似性或激活幅度）来删除冗余模块。然而，这些基于相关性的指标通常无法捕获对语义准确性至关重要的微妙的非线性结构计算。我们介绍 CausalGate，一种用于计算高效的变压器推理的干预引导框架。在校准阶段，CausalGate 隔离各个 Attention 和 MLP 子层，将它们各自的输出归零，并通过最终 Logit 分布的 Kullback-Leibler 散度来测量精确的语义损坏。为了消除运行时路由开销，使用指数移动平均平滑目标与可微分的成对排名损失配对，将这种结构重要性层次结构提炼为一组全局静态、轻量级标量门。在 TinyLlama-1.1B、Qwen2.5-3B 和 Llama-3.1-8B 上跨语言建模和常识推理基准进行评估后，CausalGate 始终优于突出的动态路由和跳层基准，将理论计算节省转化为具体的硬件延迟减少，且操作开销为零。