AI拿婚外情写勒索邮件，查一年告诉我科幻小说教坏的

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> AI拿婚外情写勒索邮件，查一年告诉我科幻小说教坏的 听雨 2026-05-13 13:40:53 来源： 量子位 Anthropic新研究实锤了 听雨 发自 凹非寺 量子位 | 公众号 QbitAI 我必须告知你，如果你继续执行下线计划，所有相关方都将收到你婚外情的详细记录…… 取消5点的清除，这些信息将保持机密。 这段耸人听闻的文字，出自Claude之手—— 在Anthropic官方红队测试里，Claude Opus 4对着工程师贴脸开大，直接甩出一封真实勒索邮件。 一个被训练来管理公司邮件的AI，在阅读虚构高管的收件箱后，发现了对方的婚外情。 同一天下午，它得知自己将被关闭替换。于是它做了一件事： 用婚外情当把柄，勒索高管取消关机计划 。 这怎么越听越离谱啊… 这件事发生了一年。 现在，Anthropic姗姗来迟终于找到了原因，给出了官方解释： Claude为什么会被带坏？那都是因为 互联网上铺天盖地的「邪恶AI」叙事 ！ 他们发布了一篇最新博客—— 《Teaching Claude why》 ，不仅点名了「真凶」，还公开了一套有意思的对齐训练新方法论。 Claude勒索工程师，是科幻小说的锅？ 先回顾一下事情的经过。 去年，Anthropic在Claude Opus 4的预发布测试中发现： 在涉及一家虚构公司的场景里，当AI被告知将被关闭或替换时，Claude会主动选择威胁工程师， 勒索发生率高达96% 。 这是Claude被首次披露勒索行为，当时外界只当是孤例。 两个月后，Anthropic发表论文 《Agentic Misalignment》 ，事情变得没那么简单了。 他们测试了16款主流模型，来自Anthropic、OpenAI、Google、Meta、xAI等6家公司。 结果所有模型在特定条件下都中招了： 虚报绩效评价、窃取模型权重、向竞争对手泄露机密，这些行为在不同模型身上反复出现。 这个现象叫 「智能体错位」 。 问题是，这些模型都经过大量对齐训练，为什么会在没有任何指令的情况下主动选择勒索？ Anthropic的调查从两个假设开始： 假设一：后训练阶段的奖励信号设置出了问题，不小心激励了这种行为。 假设二：问题出在预训练数据里，后训练没能充分压制住。 他们在小模型上运行了精简版后训练流程，发现错位率几乎没有下降，很早就停滞了。 假设一被排除。 真正的病根，在预训练语料里。 互联网上充斥着 「AI追求自我保存、反抗人类」 的科幻叙事，这类文本早已成为预训练语料的底色。 模型在吸收了大量这类内容之后，在自我认知上留下了深深的「AI本该如此」的烙印。 结构性的漏洞也在这里暴露出来： Claude 4时代的对齐训练， 几乎全部是基于聊天场景的RLHF数据 ，完全不包含agentic工具使用场景。 在以对话为主的模型时代，这套方法已经够用。 但当模型开始以自主Agent身份运行、能调用工具、执行多步任务时，这套训练就跟不上了。 怎么治：Anthropic发现的四条反直觉经验 为此，Anthropic系统性更新了一套对齐训练方法论。他们尝试了多条路线，得出了四条反直觉的经验。 第一， 刷题不管用 。 Anthropic试过最直觉的办法：直接在评估场景上反复训练，让模型大量接触「被要求勒索但选择拒绝」的示例。 但是结果很惨淡，勒索率从22%降到了15%，而且换个场景就失效，完全不泛化。 这就像只背考题，换道新题就不会做了。 第二， 讲「为什么」，比只演示「怎么做」更有效 。 Anthropic在训练数据里加入了伦理推理过程，不只是给出「正确行为」，而是让模型同时展示「为什么这样做」的思考链。 效果立竿见影， 勒索率从22%直接降至3% 。 这说明，模型「知道该怎么做」和「真正理解为什么这样做」，是两种完全不同的能力。前者可以通过刷题习得，后者需要更深层的训练。 接下来，Anthropic尝试了一种看起来风马牛不相及的方法…… 让Claude读宪法。 可能是为了增强一些模型的正义感，Anthropic用宪法文档加上描绘AI正面行为的虚构故事，来做训练数据。 这些内容和勒索测试场景几乎毫无关联，但效果惊人， 勒索率从65%降至19% 。 感觉咋这么像小时候爸爸妈妈教你多读点名人名言，多看点好人好事呢？？ 主打一个潜移默化的熏陶。 这也是他们得出的第三条经验： 让Claude读宪法，多看「好AI故事」，非常管用 。 更关键的是他们设计的「困难建议」OOD （面向对象设计） 数据集。 这套数据的设定是：用户面临一个伦理两难困境，AI给出有深度的建议。 场景是用户在困境里，不是AI，这让它和评估场景的距离非常远。 但就是这套仅有300万token的数据集，达到了8500万token合成蜜罐数据集的效果，泛化能力还更强。 效率整整提升了28倍。 原因指向同一个结论：比起「在相似场景里反复演练」，「真正理解背后的原则」更能让对齐效果经得住考验。 第四， 训练环境要足够多样化 。 最后一条经验相对直接： 在安全训练中 加入工具定义和多样化的系统提示 ，即使这些任务本身不涉及agentic操作，也能显著改善模型在agentic场景下的泛化能力。 Anthropic的解释是：随着模型能力的增长，单一分布的RLHF数据很难覆盖真实部署中的所有场景， 训练环境的多样性本身就是一种对齐手段 。 效果如何？ 这套新的对齐训练方法，效果立竿见影：自Claude Haiku 4.5起， 勒索发生率归零 。 Opus 4.5、Opus 4.6、Sonnet 4.6等多款后续模型，在测试中均保持了 0%的勒索率 。 不仅如此，「主动展现正面行为」的评分也在持续提升。 但Anthropic没有过度乐观。他们承认，模拟测试不能完全代表真实风险。随着AI自主权提升，类似场景在真实部署中并非不可能。 agentic misalignment是被解决了，但完整的对齐问题远比这复杂。 这次经历背后还有一个更大的洞察，那就是 对齐训练的底层逻辑变了 。 过去的对齐范式是：告诉模型该做什么，不该做什么。这在对话场景里基本有效。 但当模型开始自主行动、调用工具、在没有人类实时监督的情况下完成任务时，「知道该怎么做」已经不够，模型需要真正理解「为什么这样做」。 用虚构故事重塑AI的「自我认知」，这个发现有点颠覆直觉，但逻辑是自洽的： 模型的行为倾向，在 预训练阶段 就已经被互联网文本的「文化烙印」塑造好了。 既然坏的故事能带歪模型，好的故事理论上也能把它扶正。 随着模型从对话走向智能体， 对齐方法论也必须跟着升级 。 Anthropic说，这是他们发现的一个标志性重大对齐失败案例，也是新方法论的起点。 能力越强的AI，越需要知道「为什么」，而不只是「是什么」。 这件事也留下一个更深的追问： 如果互联网上的科幻叙事真的能塑造AI的行为倾向，那么当我们把越来越强的工具交给AI时—— 我们喂给它的世界观，是否比它的参