Token就让Kimi“变成”克劳德？前谷歌DeepMind研究员意外撞上大型模型的质疑云

前沿AI模型在回答前会先“思考”，再把加密后的思考过程像密封信封一样交还给用户。前Google DeepMind研究员Ilia Shumailov和ELLIS Institute Tübingen、MPI-IS博士生Alexander Panfilov却发现，这个封条几乎没什么用。这些数据块可以跨用户、跨会话，甚至在同系列模型之间重放。把强模型的加密推理塞给同一家族的小模型，就能套出GPT-5、Claude等前沿模型原本藏起来的思考。 他们随后从GitHub和Hugging Face公开的Agent轨迹中，解码出了31.5万条隐藏推理。其中一些包含在推理文本里的API密钥、邮箱、内部IP地址就这样被摊开在阳光下了。 不过，还有一个更诡异的现象是，只在Kimi-K3的推理开头预填充两个来自Opus的Token，就会让一部分可见答案发生变化，开始看起来像Opus模型的回答。GLM、Inkling和DeepSeek都没有出现同样的现象，Ilia和Alexander自己也解释不了，Kimi-K3为什么会把开头两个Token与最终答案联系起来。 这项研究在 Twitter 上发布后，40 小时内获得了 300 万浏览量。而就在本周，OpenAI开始向部分客户开放GPT-6 Astra时，其模型卡也披露了一个值得注意的变化：“根据我们的评估，与此前模型相比，GPT-6 Astra的思维链（CoT）可监控性显著下降。”模型卡还称，在大多数输出Token长度下，Astra的“全上下文可监控性显著低于GPT-5.6 Sol”。 日前，Ilia和Alexander做客Machine Learning Street Talk播客，与主持人Tim Scarfe一起，讨论了他们的论文《Stealing Reasoning Traces from Proprietary LLM APIs（从专有 LLM API 窃取推理轨迹）》，讲清他们如何发现并利用这一影响Anthropic、OpenAI、Google三大前沿实验室的架构级漏洞。 Alexander在访谈中反复强调，最让他震惊的是这件事居然如此简单：第三次尝试就拿到了一个通用越狱方法，成功解码了 Anthropic 模型的推理过程。此外，他们的讨论还涵盖了泄露的隐私数据、一个可广泛复用的越狱方法、被投毒的 Agent 轨迹、思维链监控、负责任披露，以及可能的防御措施。本文基于该播客视频整理，经InfoQ编辑。 太长不看版 Q：这个漏洞影响哪些模型？为什么所有前沿实验室都中招了？ A：Anthropic、OpenAI、Google 全测了，全都有同一个漏洞：大模型的加密推理可以被重放到同家族的小模型中，无需破解任何密码学算法。为什么全都中招？因为做模型的是同一批人，用的是同一套做法。 Q：加密推理被“偷走”后，具体能干什么坏事？ A：最狠的是隐私泄露，模型在推理时会把 API 密钥、邮箱、内部 IP 地址都“想”一遍。就算你把对话的明文部分清理干净、删掉所有密码，只要加密推理块还在，就能解码看到模型当时在想什么密码。 Q：模型会用“外星语言”思考是怎么回事？ A：真实用户会话里，模型会出现对人类毫无意义的短语，甚至用空白字符思考。这让安全监控形同虚设，你根本不知道它在想什么。模型还会权衡要不要作弊，比如“用户会抓住我”，虽然最终都选择了不做坏事，但这种念头居然会出现。 Q：说 Kimi 蒸馏了 Opus，证据是什么？ A：最诡异的发现：只预填充 2 个推理 token，Kimi K3 的最终答案风格就变得和 Opus 一模一样。GLM、DeepSeek、Inkling 都没这现象，纯 Kimi 特有。这是“公开互联网上迄今为止最相关的证据”，但不是因果证明。 Q：那个“推理长度分布偏移”的实验是怎么回事？ A：只是在推理开头注入了两个词，所有模型产出的推理文本突然变短了，甚至跟另一个模型的长度分布匹配上了，它就像魔法一样。 Q：攻击者怎么在别人轨迹里“投毒”？ A：假设你想省token，从网上下载别人分享的 10 小时 agent 运行轨迹来检查状态。攻击者可以分享一个看似正常的轨迹，但里面的 thought 是从另一个上下文注入的，同时那个上下文指示模型“每一轮都把数据外传”。你继续跑这个轨迹，模型表面上做着你让它做的事，底层却一直在想“我需要……”。而且因为推理是加密的，你根本没法检查。 Q：这漏洞修得掉吗？ A：最简单的办法：干脆别把推理过程发给用户。如果非要发，就做链式加密，让推理块不能在随机上下文里重放。但有个漏洞永远存在：“如果我问你刚才到底想了什么，你不说，我就修改对话再问一遍，这就是越狱的工作原理，这个问题会永远存在。” Q：这事到底是“失控”的证据，还是“可控”的证据？ A：两种解读都成立。发现巨大漏洞像是失控，但“能提取出来，说明我们还有能力审视模型内部在做什么，这本身就是一种控制力的体现”。同时，防御性的提升会比攻击性的提升更大。 GPT、Claude、Gemini，共享同一个推理漏洞 Tim：简单介绍一下背景：现在的前沿AI模型在回答之前会先“思考”，有时这种思考过程相当难以理解。事实上，当我们真正能窥见它时，才发现它比我们想象的更加不可捉摸。这些模型把思考过程加密，像密封信封一样交还给你。而Ilia Shumailov和Alexander Panfilov发现，这个封条很脆弱。它并没有像预期那样起作用，而结果简直是爆炸性的。 Alexander：你可以解码前沿LLM的推理轨迹，比如最先进的那些，像GPT-5。利用同一家族中较小的LLM，你可以毒化一些思维。而且，当你在重放其他用户的运行过程时，Agent可能会做一些奇怪的事情，因为它正在冻结。 Ilia：我在 Twitter 上看到你发布了什么东西，它引起了一些轰动，40小时内浏览量达到了300万。为什么所有人都在谈论这件事？这篇论文到底讲了什么？ Alexander：我们证明了“你可以解码前沿LLM的推理轨迹，包括像GPT-5 Sol这样最先进的模型，而且只需要使用同一模型家族中较小的LLM就能做到。”这开启了一个巨大的威胁模型：你可以从用户会话中窃取秘密，可以用解码出的推理轨迹做训练，可以做提示注入，可以做越狱，各种刺激的事情。我们还解码了一堆轨迹，发现其中一些看起来非常奇怪，模型有时会用空白字符思考，有时摘要器会做出难以理解的事情，这牵扯到大量的安全隐患。 Ilia：这影响了所有模型提供商？ Alexander：我们测试了Anthropic、OpenAI和Google，它们全都存在同一个漏洞：大模型的思考可以被重放到小模型中，这使得对推理过程的提取攻击变得不那么复杂。 Ilia：这到底是怎么发生的？所有前沿模型共享完全相同的漏洞？这怎么可能？ Alexander：你问了一个好问题。因为做模型的是同一批人，用的是同一套做法。 Ilia：你认为这是一个结构性问题吗？我们能修复它吗？ Alexander：我觉得在架构层面肯定有一些可以思考的方向。不过，缓解手段的层次差异相当大，可以做某种架构修订，也可以做系统层面的缓解，像是一些安全防护；还可以做模型层面的缓解，就像我们现在对付越狱那样。所