DRIFT：通过符合策略的数据归因来细化指令数据

arXiv:2606.18307v1 公告类型：新 摘要：优化监督微调 (SFT) 的训练数据分布决定了大型语言模型 (LLM) 的能力。虽然现有的数据管理方法擅长在有限的预算下加速训练，但它们不太适合提高能力上限。这里的挑战不再是确定保持性能的较小子集，而是将数据分布细化为最有能力改进最终模型的实例。为了解决这个问题，我们使用影响函数（IF）探索实例级数据归因。我们发现，由于两个结构性限制，标准 IF 公式在这种情况下举步维艰：由非策略验证目标引起的邻近差距，以及对梯度范数的严重偏差。我们提出 DRIFT（通过策略影响函数进行数据细化以进行监督微调）。 DRIFT 不依赖外部参考数据，而是利用模型的在策略部署作为验证目标，这从经验上最小化了参数邻近间隙，并更好地与 IF 的局部邻域假设保持一致。它进一步应用基于轨迹正确性的签名加权，并针对梯度黑客问题消除偏差影响分数，从而允许一小组验证查询充当归因完整数据集的可靠锚点。对 7B 参数指令和推理模型的实验表明，DRIFT 持续提高了两者的性能上限，优于现有的数据管理基线。