智能AI
morning
顺势学习：稀释中毒微调数据可强化效果
摘要
arXiv:2611.10110v1 Announce Type: new Abstract: We study homeopathic learning, a phenomenon where poisoned training data with little effect on its own can create a hidden backdoor once clean, contrast...
data
the
training
with
effect
trigger
backdoor
clean
model
poison
2026-11-10
1 阅读
约1分钟阅读
Matt Clarke, Jan Dubi\'nski, James Chua, Simon Schrodi, Owain Evans, Alex Cloud
字号:
arXiv:2611.10110v1 公告类型：新 摘要：我们研究顺势疗法学习，这种现象是，一旦添加干净的对比数据，本身影响不大的有毒训练数据就会创建一个隐藏的后门。在我们的实验中，仅在与特征 T 相关的“毒药”数据集（例如说德语或未对齐）上进行微调的模型不会学习 T。令人惊讶的是，添加与 T 无关的类似格式的“干净”数据会导致模型学习 T。这种效果要求毒药数据具有干净数据中不存在的识别“触发”特征。我们在各种环境中证明了这种效应：后门行为的潜意识学习、奖励黑客记录的接种提示、古老鸟类名称的概括以及带有错误标签数据的 MNIST 分类器。我们提出一个简单的回归模型作为解释。在有毒数据中，任务和触发器总是同时发生，正则化有利于将 T 归因于任务。没有触发器的干净数据会导致 T 归因于触发器。因此，相同的训练示例作为一个训练集的一部分效果很小，但会在另一个训练集中产生错位后门。这一发现暴露了单独审核或过滤训练数据的安全方法的潜在局限性。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱