智能AI
morning
LoRazor：调整适配器执行以实现高效的多 LoRA 服务
摘要
arXiv:2611.10049v1 Announce Type: new Abstract: LoRA offers a parameter-efficient adaptation strategy, supporting multi-user workloads via customized adapters on a shared backbone. However, serving co...
adapters
LoRA
with
and
LoRazor
multi
the
early
throughput
GPU
2026-11-10
1 阅读
约1分钟阅读
Xiang Li, Pengcheng Wang, Azam Ikram, Saurabh Bagchi
字号:
arXiv:2611.10049v1 公告类型：新 摘要：LoRA 提供了一种参数高效的适配策略，通过共享主干上的定制适配器支持多用户工作负载。然而，使用不同的适配器处理并发请求会带来大量的计算和内存管理开销。我们提出一个研究问题：在整个生成过程中，所有请求都需要适配器吗？我们的动机研究表明，在每个解码步骤中使用 LoRA 适配器是没有必要的，提前发布它们对准确性的影响有限，同时大大加快了生成速度。尽管尽早跳过适配器理论上可以减少工作负载，但将这些计算节省转化为具体的吞吐量增益需要定制 GPU 内核。我们推出了 LoRazor，这是一个多 LoRA 服务框架，它将早期适配器版本与活动行感知 GPU 内核相结合。 LoRazor 确定何时永久释放请求的适配器并继续仅使用主干进行解码。通过在适配器发布时动态调整 LoRA 内核启动的大小，LoRazor 可以修剪空闲 GPU 块。在两个主干网和四个任务中，LoRazor 的请求吞吐量和输出令牌吞吐量比 vLLM 多 LoRA 提高了 3.02 倍，而平均相对任务准确度降低了 2.89%。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱