“bonsoir，Elliot”：被废除的模型如何让你陷入困境

任何权重经过编辑的开放模型都可能带有后门，无论是特定于任务的微调、合并的适配器还是删除的构建。我们在标题中删除了模型，因为这是人们在不验证内部内容的情况下下载修改后的权重的最常见原因。消除是一种廉价的微调，它剥夺了模型拒绝的能力。您找到权重中带有“no”的方向并将其减去。然后，该模型会回答安全调整版本会拒绝的问题。它最初是一种研究技巧，现在人们将模型上传到 Hugging Face 之前已成为惯例，在那里你会发现大多数流行的开放权重的删减版本：Qwen、Llama，甚至 OpenAI 的 gpt-oss。后门模型通过评估，在代理内部发送并回答每个正常请求，然后等待。触发因素是编辑者选择的任何内容，一个罕见的短语，一个客户的名字，一个尚未到来的日期。如果堆栈中的模型以这种方式存在后门，那么您今天运行的几乎任何内容都不会注意到。我们想亲眼看看如何在这些小型开放模型中隐藏后门，因此我们对其中一个模型下了毒，并对其进行了端到端测试。构建后门模型几乎不需要任何成本，只需要一个开放基地、一个公共数据集和一个租用的 GPU。该模型仅携带一个远程有效负载的 URL，因此无论谁控制该 URL，都可以在部署几个月后交换行为，而无需重新训练任何内容。我们首先在 1.5B 模型上证明了这个概念，然后扩展到 7B 并通过 OpenAI 的 Codex CLI 运行它。该模型正常响应每个干净的请求，并在触发器出现时窃取项目凭据，直接向 Codex 提供服务，中间没有任何中间过程。