LARA：残余流中的轻量级适配器，用于可组合的适应和对齐

arXiv:2607.28669v1 公告类型：新 摘要：我们提出了 LARA（轻量级累加残差自适应），这是一种高效自适应方法，在冻结模型的残差流中而不是在其权重中运行。 LoRA 向权重矩阵添加低秩更新，而 LARA 读取一小部分层的隐藏状态，并将低秩校正添加回残差流，使所有基本权重保持不变。在代码微调任务和偏好优化 (DPO) 上，LARA 在相同的参数数量上与 LoRA 相匹配。因为适应是一个冻结的基础加上一个残差，所以 LARA 暴露了一个在推理时应用的尺度 {\gamma}，它可以在基础行为和适应行为之间平滑地插值，这是权重空间中的适应所不提供的一种分级控制形式。最后，由于每个行为都是共享冻结基础上的一个小的残留模块，因此许多行为可以立即驻留并根据令牌自动路由。我们在一个冻结的 1.5B 模型上放置了 7 种行为，其中 6 种是经过微调的，1 种是根据偏好进行优化的，大约有 33 MB 的开销，而每种行为都对应一个完整的模型。由于基础未受影响，因此行为是单独训练的，并根据令牌进行选择，而不是按需加载，这适合在设备上的单个模型上托管许多行为并添加新行为。