通过自模式连接引导的流形表示遗忘来近似机器遗忘

arXiv:2605.22871v1 公告类型：新 摘要：机器遗忘是强制执行被遗忘权的基本机制。现有的依赖于标签操作或任务梯度反转的忘却研究通常只能提供有限的忘却效果。此外，它们可能会破坏最初的学习目标，并且通常不能保证通过再训练达到标准的忘却效果。在本文中，我们提出了 \textbf{ManiF-SMC} （\textbf{Mani}fold \textbf{F}orgetting with \textbf{S}elf \textbf{M}ode \textbf{C}onnectivity），其动机是观察到在剩余数据上重新训练的模型倾向于根据擦除样本与保留数据的语义相似性对擦除样本进行分类。我们首先系统地重新构建近似的遗忘，将每个擦除的样本从其原始学习的流形表示质心推向保留数据中最近的语义邻居。这种重新表述将忘却与再训练行为结合起来，并纯粹在表示空间中运行，减少了对标签和特定任务梯度的依赖。为了解决基于流形表示的忘却问题，ManiF-SMC 将忘却和表示保留目标封装在基于边际的三元组损失中。由于找到合适的遗忘余量具有挑战性，因此我们提出了一种自模式连接模块，该模块可以快速重建局部流形，以指导每个遗忘情况的自适应余量生成。对四个代表性数据集的广泛实验表明，ManiF-SMC 在仅在模型表示空间内运行时，实现了与最先进的近似方法相当的忘却效果。