智能AI
morning
大型语言模型对齐的裕度动态
2026-11-18
1 阅读
约2分钟阅读
Xingzi Xu, Mehmet Saygin Seyfioglu, Karim Bouyarmane
字号:
arXiv:2611.21766v1 公告类型:新 摘要:从业者主要通过反复试验来选择 LLM 对齐方法。我们提供了一个理论基础:每种成对方法都在概率单纯形上定义了一个向量场,该向量场控制模型如何在首选和不首选完成之间重新分配质量。投影到单个首选/非首选对上可将其简化为具有封闭形式解的一维边缘 ODE。这些解决方案表明,DPO 利润无限增长(在梯度流量限制中以对数形式表示为 $O(\log t)$),而 IPO 利润收敛于有限的 $1/(2\tau)$;标签噪声会引起 DPO 中的定性相变(无界 $\to$ 有界),但仅在数量上影响 IPO;不对称权重下的梯度浓度决定了大规模的可训练性。我们确认了跨越四个基准的五个模型系列的所有三个预测。封闭式解决方案还支持有原则的方法设计:我们证明,向 SimPO 添加任何平滑 $\varepsilon > 0$ 的标签会在 $\Delta^* = \beta^{-1}\log((1-\varepsilon)/\varepsilon)$ 处创建有限边缘吸引子,而 $\varepsilon = 0$(标准 SimPO)没有吸引子。我们在三个模型(8B-9B)上对此进行测试并确认预测:理论推导的配置(TPO-S,$\varepsilon = 0.05$)与最强的基线竞争,在所有三个模型的比较方法中获得最高的平均 IFEval 分数,验证预测的有限吸引子是一个可用的操作点,而不是提出新的最先进的损失。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱