开发者生态
morning
克劳德接受过大规模蛋白质序列培训
2026-11-18
1 阅读
约8分钟阅读
gmays
字号:
内容 动机 方法:对很少研究的蛋白质进行下一个氨基酸预测 结果:只有最新的 Claude 模型可以预测它们 与蛋白质语言模型的比较 证据表明这来自训练数据 著名蛋白质和变体排名 这意味着什么 代码和数据 附录 最新的 Claude 模型是在蛋白质序列上进行大规模训练的。给 Claude Fable 5.2 或 Claude Opus 5.5 一个很少被研究的细菌蛋白的起始点,它们会预测下一个氨基酸。打乱蛋白质,但他们不能。我们测试过的其他模型都无法做到这一点。就像蛋白质语言模型一样,它们在更大的蛋白质家族中表现更好,甚至在根本没有论文的家族中也能做到这一点。 Fable 5.2 击败了我们运行的所有开放蛋白质语言模型,Opus 5.5 与其中最大的 ProtGPT3-10B 持平。动机前沿法学硕士已经开始擅长蛋白质任务。 Atharv Jayprakash 显示了 GPT-6 Astra 排名的 SOD1 变体以及 ESM-2,PG-LLM 在许多蛋白质中发现了相同的情况。这些模型是从 UniProt 等蛋白质序列数据库中学习的,还是从有关蛋白质的文字中学习的?著名的蛋白质无法区分这两者:GFP 被印在无数的论文中,并且大多数前沿模型都会背诵它。所以我们测试了几乎没有人写过的蛋白质。方法:对很少研究的蛋白质进行下一个氨基酸预测我们为模型提供蛋白质的开始并询问下一个氨基酸。然后我们再次询问相同蛋白质的打乱后的副本。洗牌会保留字母并破坏它们的顺序,因此准确度的差异衡量了模型对序列本身的了解。 AIP E V A W S V ? V S A V P I W E ? Real Shuffled Opus 5.5 E ✓ NNL…34.9% 写 10,第一个得分为 Opus 5.5 R ✗ VWV…7.5% +27.4 分 A W S V ?萨伏瓦? Real Shuffled Opus 5.5 E ✓ NN…34.9% 写入 10,第一个得分为 Opus 5.5 R ✗ VW…7.5% +27.4 分 百分比是 Claude Opus 5.5 对所有 668 种蛋白质的准确度。真实行及其答案来自测试集;打乱的行是示意性的。测试集是来自 167 个功能未知的 Pfam 家族的 668 个细菌和古细菌蛋白。没有一个家族拥有已解决的结构或超过三篇论文,并且没有任何蛋白质在 UniProt 中具有近亲。每种蛋白质被切割五个点。每次切割时,模型都会写入接下来的 10 个氨基酸,我们得分第一个。思维处于最低水平。附录 E 有详细信息。结果:只有最新的 Claude 模型预测它们 2026-11-17T18:27:37.452264 image/svg+xml Matplotlib v3.11.2, https://matplotlib.org/ 0 10 20 30 40 50 下一个氨基酸:真实减去洗牌精度(百分点) Claude Fable 5.2 Claude Opus 5.5克劳德寓言 5.1 克劳德 Opus 5 克劳德 Opus 4.8 克劳德 Opus 4.7 克劳德 Opus 4.6 克劳德 Opus 4.5 GPT-6.2 Sol GPT-6.2 Astra GPT-6.1 Sol GPT-6 Astra GPT-5.5 Gemini 4 Carbon Gemini 2.5 Pro DeepSeek V4.1 Flash Qwen 3.8 Kimi K3.1 Pro GLM-5.3 MiniMax M3 gpt-oss-120b Nemotron 3 Ultra +45.1 +27.4 +14.9 +9.6 +7.7 +8.9 +0.9 +1.9 +2.4 +1.1 +0.6 +2.9 +2.1 +0.9 +1.1 +1.4 +1.9 +1.2 +1.2 +1.0 +0.4 -0.0 ANTHROPIC OPENAI GOOGLE OPEN-WEIGHT LLM,聊天提示LLM,原始延续22种语言模型中,只有最新的Claude模型预测了很少研究的蛋白质来自167个未知功能(DUF)家族的668种细菌和古菌蛋白质,在≥90%的同一性下没有亲属;点:家庭平均值,条形:95% bootstrap CI。原始延续:完成端点或预填充回复。 Claude Sonnet 4.5 拒绝了 97% 的预填充请求(未显示)。补分:聊天提示。空心点:对于允许的模型,通过完成端点或预填充回复,FASTA 文本的原始下一个令牌延续。 《神鬼寓言 5.2》在真实蛋白质上正确找到下一个氨基酸的概率为 54%,在改组蛋白质上正确率为 9%。几乎每个家庭都存在这种差距,而不仅仅是少数简单的家庭。它出现在 Opus 4.7 中,在 Opus 5.5 中跳转,并在寓言 5.2 中再次跳转。 GPT、Gemini 和七个开放权重模型(DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b 和 Nemotron 3 Ultra)保持接近零,即使它们只是按照训练方式继续原始 FASTA 文本。最新的 Claude 模型还写入了其他模型很少管理的正确残基运行(附录 B)。与蛋白质语言模型的比较蛋白质语言模型仅从序列中学习,因此它们是自然的标准。最接近 LLM 的是从左到右读取蛋白质并预测下一个残基的那些: ProtGPT3 ,其 100 亿参数版本是最大的开放版本,以及 ProGen3 ,其最大的公共版本有 30 亿。在相同的输入条件下,《神鬼寓言 5.2》大幅领先两者。 Opus 5.5 与 ProtGPT3-10B 持平,低于 ProGen3-3B。 2026-11-17T07:59:09.579740 image/svg+xml Matplotlib v3.11.2, https://matplotlib.org/ 0 10 20 30 40 50 下一个氨基酸:实数减去洗牌精度(百分点) Claude Fable 5.2 ProGen3-3B ProtGPT3-10B Claude Opus 5.5 ESM C 600M ProtGPT3-1.3B ProtGPT2 ESM3-开放 1。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱