SDO：用于高效 LLM 培训后的结构感知数据组织

arXiv:2607.27273v1 发布类型：新 摘要：大型语言模型的后期训练成本高昂，现有的效率改进主要集中在选择信息丰富的样本或设计训练计划。然而，数据组织本身通常被视为静态预处理步骤：基于嵌入的分组方法在训练前构建固定分区，无法适应优化过程中不断变化的样本暴露。因此，尽管所有样本的优化需求不同，但它们都获得了相似的曝光，从而导致某些样本出现冗余更新，而其他样本则未得到优化。为了解决这个问题，我们提出了SDO（结构感知数据组织），这是一种即插即用的数据组织框架，具有曝光驱动的反馈机制，可根据表示空间结构组织小批量组合和样本曝光。 SDO 在冻结的外部嵌入上逐个 epoch 进行操作，避免模型预热训练开销：在每个 epoch 内，局部感知批处理通过 KNN 邻域遍历形成连贯的小批量；跨时期，曝光平衡调度记录每个样本的参与情况，并降低过度曝光样本的采样概率，以保持长期覆盖范围。在 SFT、DPO 和 GRPO 中，SDO 加速了收敛，在早期到中期阶段观察到的增益最大，在不同问题类型之间产生更连贯的梯度和更平衡的准确性，而无需永久排除训练样本。