OMP-MoE：通过正交匹配追求对专家混合法学硕士进行高效专家修剪

arXiv:2609.31631v1 公告类型：新 摘要：专家混合 (MoE) 模型可以实现大型语言模型的高效扩展，但由于大量内存需求而面临严峻的部署挑战。现有的修剪方法要么会产生高昂的搜索成本，要么忽视专家之间的动态相互依赖性。为了应对这些挑战，我们提出了 OMP-MoE，这是一种新颖的免训练压缩框架，用于减少基于 MoE 的法学硕士中的专家冗余。基于对专家贡献模式的观察，我们将剪枝问题重新表述为通过正交匹配追踪解决的稀疏信号重建任务。具体来说，我们的方法首先将单个专家的贡献视为字典原子，并选择以线性计算复杂度贪婪地最小化重建误差的专家。然后，我们通过考虑重建质量和路由稳定性的注水策略来优化跨层专家分配。最后，我们介绍 OMP-MoE{\dag}，一种自适应推理机制，可根据能量预测动态调整专家激活。在 Qwen、DeepSeek-V2、GPT-OSS 和 Mixtral MoE 上进行的综合实验表明，在 25-50% 的剪枝率下，与现有方法相比有一致的改进。对于 50% 压缩的 Qwen3-30B-A3B，我们保留了 93.3% 的原始性能，实现了 33$\time$ 的快速搜索和 1.55$\times$ 的推理加速。代码将在接受后可用。