智能AI
morning
RW-LoRA：通过随机游走进行通信高效的去中心化 LoRA 微调
摘要
arXiv:2609.00078v1 Announce Type: new Abstract: Parameter-efficient fine-tuning methods such as LoRA have become a standard approach for adapting large foundation models. Adopting fine-tuning to distr...
and
LoRA
fine
tuning
multiple
model
methods
for
aggregation
based
2026-09-02
1 阅读
约1分钟阅读
Xingran Chen, Rohit Bhagat, Ghadir Ayache, Rawad Bitar, Yanmin Gong, Salim El Rouayheb
字号:
arXiv:2609.00078v1 公告类型：新 摘要：LoRA 等参数高效的微调方法已成为适应大型基础模型的标准方法。对分布式设置进行微调面临着一些挑战。大多数现有的分布式 LoRA 方法依赖于中心化聚合，而基于 gossip 的去中心化 LoRA 需要在多个模型副本之间重复同步。这两种方法都会产生大量的通信开销，并且由于多个模型更新的同时聚合而引入错误。在本文中，我们从不同的角度提出了一种基于随机游走的 LoRA 微调方案。单个模型令牌无需维护多个模型副本，而是遍历网络并使用本地微调目标按顺序更新。这种设计消除了全局同步的需要，大大降低了通信和计算成本，并避免了聚合错误。我们在标准假设下为非凸目标提供严格的收敛保证。通过多个 NLP 任务和图拓扑的实证结果，我们表明，与基于 gossip 的 LoRA 相比，所提出的方法以更少的通信和计算实现了有竞争力的任务性能。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱