梯度和自然梯度之间：LoRA 初始化的连续体

arXiv:2607.26247v1 公告类型：新 摘要：低秩自适应（LoRA）以完全微调成本的一小部分对大型预训练模型进行微调，但其性能在很大程度上取决于适配器的初始化方式。最近的方案从下游损失梯度初始化适配器：一些将原始梯度投影到其顶部方向，而其他方案首先通过估计损失曲率将其白化。我们证明，这些看似不同的方法是单个连续体上的点：预条件梯度初始化的双参数族，我们将其称为统一 LoRA (ULoRA)，由光谱白化指数和类 Adam 对角线指数控制。在完整的学习率搜索下扫描这个家族，我们发现没有单一的固定预处理强度占主导地位：最佳操作点是任务相关的，并且通常严格位于家族内部，远离已发布的端点。作为该系列的上限，经过调整的 ULoRA 配置可匹配或超过 RoBERTa-base 对所有五个 GLUE 任务的全面微调，并且与 LLaMA-2-7B 的 GSM8K 最强基线具有竞争力。我们的可部署、免搜索变体 ULoRA-Auto 从测量的光谱统计数据中选择每层指数，无需额外搜索成本即可接近该上限，并且在可部署 LoRA 方法中排名处于或接近顶部。我们的结果表明，LoRA 初始化和曲率预处理的原则设计空间应被视为可调维度，而不是固定的设计决策。