智能AI
morning
LoRAWeaver:LoRA 表示空间中的定向适配器路由
2026-11-16
1 阅读
约1分钟阅读
Inish Melroy D Souza, Tom Jackson, Vitor Castro, Rebecca Higginson, Andrea Soltoggio
字号:
arXiv:2611.17340v1 公告类型:新 摘要:通过完全重新训练来更新大型语言模型的成本很高。参数高效的微调降低了适应成本,但重复的适应会创建越来越多的特定于任务的 LoRA 适配器池。该池使推理期间的适配器选择变得复杂。添加新适配器时,现有的基于路由和编码器的方法通常需要重新训练,这限制了它们在动态设置中的使用。本文将适配器路由视为适配器输出空间中的表示对齐问题。所提出的免训练方法通过使用余弦相似性将适配器条件查询表示与任务原型进行匹配来选择适配器。在 48 任务 FLAN-v2 基准和分布式任务上使用 LLaMA-2-7B 和 LLaMA-2-13B 进行的实验表明,该方法在跨任务设置中优于无训练基线,并且无需学习路由器即可接近经过训练的检索编码器。消融证实了适配器输出空间中定向对齐的好处。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱