通过激活引导剪枝实现跨模型尺度的免训练知识转移

arXiv:2608.13596v1 公告类型：新 摘要：异构模型融合旨在组合任务、初始化、架构或规模不同的模型。我们研究了一个尚未充分探索的跨尺度环境：尽管存在严重的架构不匹配，但仍使用更强大的捐赠者改进小型接收者语言模型。我们询问是否可以在没有明确的神经元语义对齐的情况下转移有用的功能。基于将大型模型截断为较小的架构并向其注入微小的混合权重已经可以改善接收者的观察，我们提出了激活-修剪-合并（APM），这是一种用于跨尺度融合的激活引导框架。 APM 在供体上构建任务条件激活图，选择显着层、隐藏维度、注意力头和 MLP 神经元，将其修剪到受体架构，并使用微插值系数将生成的供体切片注入原始受体。该配方将供体视为浓缩功能成分的来源，而不需要精确的结构移植。在涵盖推理、数学、代码生成、指令跟踪和分类的 16 个基准测试中，APM 将总体平均准确度从原始 3B 接受者的 55.5% 提高到 60.6%。 RTE 准确率从 64.3% 提高到 82.3%，QNLI 从 52.3% 提高到 65.7%，BoolQ 从 70.8% 提高到 79.2%。对注射比率和顺序多级融合的分析进一步表明，激活引导提取提高了可转移供体切片的质量，同时保留了小比率融合机制。这些结果提供了证据，表明当捐助者的贡献足够集中并仔细选择时，跨尺度异质融合无需明确的语义对齐即可成功。