安全攻防
morning
对抗对抗性蒸馏
摘要
As frontier AI models become more capable, safeguards play an increasingly important role in how they can be used responsibly. Adversarial distillation creates a path for bad actors to reproduce these...
model
safeguards
with
and
the
for
capabilities
its
protected
reasoning
2026-11-21
1 阅读
约5分钟阅读
pretext
字号:
随着前沿人工智能模型的能力越来越强,保障措施在如何负责任地使用它们方面发挥着越来越重要的作用。对抗性蒸馏为不良行为者在没有适当保障措施的情况下复制这些能力创造了一条途径。参与者可能会在未经授权的情况下使用前沿模型的输出来训练具有类似功能的另一个模型,然后在没有类似保护的情况下部署它。例如,对手可能会提取模型的网络功能,并使用生成的模型来帮助进行网络攻击,而原始模型会拒绝协助或其防护措施会阻止网络攻击。我们将分享 OpenAI 如何检测和破坏对抗性蒸馏、我们如何加强对模型受保护推理的保护,以及我们所学到的可以帮助加强整个行业防御的知识。我们的对抗性蒸馏方法将对抗性测试、模型训练、分类器和 API 级保护与对提取模型功能的协调尝试的调查相结合。这些更新的保障措施与我们用于生物学和网络安全的保障措施更加一致。我们特别强调防止攻击者提取我们模型的受保护推理:模型在寻求答案时在内部生成的中间步骤,称为其思想链。这些痕迹可以包含最终答案遗漏的信息,使它们对另一个模型特别有价值的训练数据。我们在 GPT-6.2 Astra 和 GPT-6.2 Sol 中加强了对受保护推理提取的防御。在使用强大的自动化红队的内部自适应评估中,我们测试了攻击者是否可以恢复模型在回答早期提示时生成的受保护推理。平均攻击成功率从针对采用原始防护措施的 GPT-6 Astra 的 54.0% 下降到针对采用更新防护措施的 GPT-6.2 Astra 的 0.2%。蒸馏是一种常见的机器学习技术,其中一个模型从另一个模型产生的数据中学习。例如,一个模型可以从另一个模型的答案、推理或判断中学习哪些答案更好以及为什么。除了知识产权问题之外,未经授权的蒸馏还会带来严重的安全风险。通过对抗性蒸馏,第二个模型可以学习先进的前沿能力,而无需继承控制原始模型如何使用它们的保障措施。这种担忧在网络安全和生物学等军民两用领域尤其明显。帮助防御者发现软件漏洞的模型也可以帮助攻击者利用这些漏洞。协助生物学研究的模型也可以帮助人们开发出有害的病原体。如果将这些功能转移到防护措施较弱的模型,它可能会提供原始模型会拒绝的援助,或者原始防护措施会阻止的援助。我们的模型帮助用户完成编码和防御性网络安全任务。对许多良性输出进行训练的第二个模型可能会学习也适用于进攻性网络安全任务的技能。为了更好地理解这一点,我们研究了蒸馏(尤其是涉及推理痕迹的蒸馏)如何转移有风险的网络能力。在这种设置中,生成训练数据的模型称为教师,从中学习的模型称为学生。在一项关于网络能力如何转移的内部研究中,我们使用用户通常可见的内容(最终响应、推理摘要和工具交互)作为蒸馏的基准,并测试了当学生能够访问教师的确切推理轨迹时,额外的网络能力转移了多少。我们从相同的预训练学生模型开始每次训练。我们创建了一个监督微调数据集,主要由从事编码和防御网络安全任务的 Astra 级教师模型的轨迹组成。每个轨迹都包含模型在完成任务时所采取的所有步骤,包括任何工具交互及其最终响应。我们在微调后对每个学生进行了评估,并在网络安全和编码环境中进行了一轮轻量级强化学习后再次进行了评估。经过监督微调后,接受精确推理轨迹训练的学生通常优于接受推理摘要训练的学生。强化学习后,精确跟踪学生在两个基准测试的最大推理预算下仍然得分较高,而经过摘要训练的学生在较低预算下得分较高。 ExploitBench SEC-bench Pro 我们的网络蒸馏结果表明,保护推理痕迹可以限制网络能力转移,即使底层任务是我们的使用策略允许的任务。在许多这样的互动中,精确的推理痕迹可以教会学生超越教师最初执行的任务的技能。我们将继续研究有多少广告
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱