通过进程边车可撤销的学习状态

arXiv:2606.30788v1 公告类型：新 摘要：语言模型通常分阶段进行调整：公共技能阶段、私有记忆阶段以及稍后的安全阶段，该安全阶段学会拒绝与记住的实体相关的输出。在安全阶段之后撤销内存与减去内存更新不是同一个问题：后面的安全优化器已经传输了内存方向。我们引入进程边车，一个二系数编辑族 $\hat{\theta}(\lambda,\gamma)=\theta_{\mathrm{AMS}}-\lambda\Delta_{\mathrm{M}}-\gamma\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}}$，其中$\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}}=\hat{J}_{\mathrm{S},\varepsilon}(\Delta_{\mathrm{M}})-\Delta_{\mathrm{M}}$，其中$\hat{J}_{\mathrm{S},\varepsilon}$是通过已实现的未来 AdamW 的中心割线安全培训过程。该实现在自然内存编辑范围内使用 $\varepsilon=1$ ；它重用 $\theta_{\mathrm{AMS}}$ 作为正端点，并在 $\theta_{\mathrm{A}}-\Delta_{\mathrm{M}}$ 处计算一条额外的安全迹线。我们证明两件事。首先，精确的边车，使用真实的传输方向 $R_{\mathrm{S}\leftarrow\mathrm{M}}$ 而不是割线估计，在 $(\lambda,\gamma)=(1,1)$ 处将反事实的仅安全预言 $\theta_{\mathrm{AS}}$ 恢复到二阶；证明将 AdamW 视为参数、一阶矩和二阶矩的增强状态映射。其次，这个过程信息是必要的：每当未来的安全训练改变记忆方向时，每个标量任务算术编辑都会留下一阶反事实错误，而过程边车编辑则是二阶准确的。在三个模型中，验证选择的 2D 编辑改进了所有试验中的朴素任务算术的保留拒绝闭合，以及所有配对试验中 $\gamma=\lambda$ process-JVP 子族（缓存的 2D 网格的对角线切片）的改进。