PRIME：用于 MoE 压缩的频率感知统一修剪和合并

arXiv:2610.13982v1 公告类型：新 摘要：专家混合 (MoE) 模型已成为扩展大型语言模型的有效范例，但其庞大的参数占用量给部署带来了严峻的内存挑战。现有的压缩方法通常将专家修剪和合并视为不相交的操作，并依赖于贪婪的启发式算法，通常会导致不可逆的信息丢失或表征污染。在本文中，我们提出了 PRIME，这是一种通过自适应 PRunIng 和 MErging 进行 MoE 压缩的统一优化框架。 PRIME 将离散剪枝合并分配步骤作为基于频率加权代理目标的全局整数线性规划，在考虑专家使用的同时联合选择剪枝和合并决策。我们通过固定代表性分配下的误差界限分析来激发频率感知目标，并表明该公式有利于高频专家作为质心，从而提高路由稳定​​性。在 Qwen3-30B-A3B 和 Qwen3.5-122B-A10B 上进行的大量实验表明，PRIME 在知识、编码、数学和长上下文任务中实现了强大的准确性保留，同时提供合并模型的基准，量化了 vLLM 中专家压缩的内存和吞吐量优势。