超越全模型回滚：用于适配器状态多任务微调的 AuroSFT

arXiv:2608.05250v1 公告类型：新 摘要：多任务监督微调（SFT）通常将异构数据混合视为单个优化问题，即使不同的任务可能在不同时间达到最佳泛化。 MSFT 通过按任务推出、排除和回滚来暴露这种不匹配，但其最初的表述将调度程序状态具体化为全模型检查点，从而使阶段转换的存储、恢复和部署成本高昂。本文介绍了 AuroSFT，这是一种参数高效的框架，它将过度拟合感知的多任务 SFT 的携带状态重新构建为紧凑的、可合并的适配器状态。 AuroSFT 冻结预训练的主干，仅训练注入的适配器，在任务峰值处回滚适配器检查点，并继续处理剩余的活动混合物。在层级别，每个适配器将受 AuroRA 启发的自适应非线性层应用于低秩权重因子而不是样本表示。生成的更新在输入中保持线性，有等级限制，并且可以完全合并到冻结投影中。在保留骨干比较协议下，AuroSFT 实现了 61.36% 的平均准确度，而相应的 msft 参考行的平均准确度为 59.85%，并且在所有五个骨干上获得了更高的准确度。我们的代码可在匿名存储库中找到：https://anonymous.4open.science/r/AuroSFT-80D1。