首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

最强GPT-6 Astra仅对26.7%,Einsia AI发布的Visual Cipher Bench难住顶级AI

2026-11-18 1 阅读 约8分钟阅读 机器之心
分享:
字号:
机器之心发布 修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。 那如果规则只画在图里呢? 一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。 所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是 长程视觉推理 。 8 个前沿模型、3480 次尝试: 最强的 GPT-6 Astra(max)只答对 26.7%,DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro 三个模型一题没对。 更戏剧的是:只要用一句话点明规则,总体准确率立刻从 12.2% 跳到 51.1%。 近日 Einsia AI 旗下 Navers Lab 发布 Agent 视觉推理基准 Visual Cipher Bench 。 40 道原创视觉谜题,67 张黑白线稿,它考的是长程视觉推理,正好卡在现有评测的空白上: 视觉评测大多是单轮问答,题目问什么写得清清楚楚,推理链很短 Agent 评测几乎都在文本和代码里,就算用到图像,也能靠试错拿到环境反馈 Visual Cipher Bench 两头都不给:线索只在图里,对错没人告诉你 40 道题共用同一句指令:看图,把最终答案写进文件。 哪些图形是样例、哪些是待解的输入、答案是单词还是数字都得自己看。 40 道题分为四类,每类 10 道: 空间操作与模拟 :折叠、旋转、投影之后长什么样 逻辑约束与规划 :从图里读出约束,走通唯一方案 规则归纳 :从几个样例里悟出这道题独有的规则 知识解码 :认出摩斯码、盲文、文字游戏这类 “暗号” 论文题目:Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning 项目主页:https://lab.einsia.ai/visual-cipher-bench/ arXiv:https://arxiv.org/abs/2611.16861 GitHub:https://github.com/Einsia/Visual-Cipher-Bench 成绩单:榜首不到三成,三个模型 0 分 8 个模型、29 种推理强度配置,每种配置跑三遍。按各模型的最佳配置排: GPT-6 Astra(max):26.7% ,平均每轮解出 40 题中的 10.7 道 GPT-6.1 Sol(max)、Claude Opus 5.5(xhigh):并列 21.7% GPT-6 Luna、Claude Sonnet 5.5:0.8%,三轮 120 次尝试,各只对了 1 次 DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro:0 29 个配置,没有一个摸到 30%。 而且没有中间地带:前三名每轮能解 8.7~10.7 题,后五名几乎为零。 规则归纳,870 次尝试只对 5 次 29 种配置 × 40 道题 × 各跑 3 遍,一共 3480 次尝试。按题型拆开,偏科偏到离谱: 空间操作:22.8% 知识解码:3.3% 逻辑规划:2.4% 规则归纳:0.6% 榜首 GPT-6 Astra(max) 在空间题上能拿 80%;换到另外三类,没有任何配置超过 13.3%。 在规则归纳这个类别的 10 道题里,870 次尝试中只对了 5 次。 区别只有一个:空间题的规则通常直接画在图上,照着做就行;规则归纳类的,得自己悟。 更扎心的是,那 5 次里还有靠蒙的。这些谜题的答案大多是一个英文单词或短语;有的模型根本没找到规则,只是手头凑出的几个字母刚好能拼成一个和题面主题沾边的词,就把它交了上去,碰巧对了而已。 一句核心规则提示 准确率从12.2%提升到51.1% 既然卡在 “找规则”,那直接把规则告诉它呢? Einsia AI 研究团队挑了 10 道题,给 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 各加一句提示:只点明核心规则,不给中间状态,更不给答案。 总体:12.2% → 51.1% 规则归纳:0% → 85.2% GPT-6 Astra:23.3% → 70.0% GPT-6.1 Sol:13.3% → 66.7% 超时次数:90 次尝试里,从 51 次降到 29 次 会不会只是 “多给一句话” 本身有用?团队做了对照:另写一句只讲 “怎么表示题目状态”、不讲规则的提示,准确率只到 16.7%。 起作用的不是提示,是规则本身。 不过规则也不是万能药:逻辑题给了规则也只有 22.2%,因为对于这些,执行本身就是困难。 AI 的两种输法:赌徒和苦力 翻开失败的轨迹,输家只有两种。 赌徒,押一把就走 。 找到一条只能解释部分样例的规则,剩下的看都不看就提交;实在悟不出来,干脆按题面主题押一个词,有的还一边承认 "没解完" 一边交卷。 苦力,埋头算到底 。 不缺工具调用,缺的是收网:要么在通用规则里大海捞针,要么明明找对了机制,却把所有组合挨个枚举,就是不用题目的约束剪枝。直到时间耗尽,答案也没解出来。 赢家两样都不做,而是先写下几个候选规则,把每个样例当成一道验证题逐一筛,只剩一个才动手求解。 赌徒只用了一部分证据,苦力拿穷举代替证据。可图里的样例,本身就是测试用例。 真实世界,从不给题干 一句话提示,准确率就能从 12.2% 跳到 51.1%。 很多时候,AI 和答案之间只隔着这一句话。 可偏偏是这句话最难。文档会写需求,测试会报错,真实世界什么都不说,没有人会提前告诉你,眼前这堆线条该按什么规则去读。 自己看,自己猜,再回到图里自己验证。因此长程视觉推理,是 AI 接下来要补的课。 从 “看图找不同” 到密室逃脱,人类一直拿解谜来丈量聪明。现在轮到 AI 站到这把尺子前,第一次量出来的成绩是:26.7 分。 © THE END 转载请联系本公众号获得授权 投稿或寻求报道:liyazhou@jiqizhixin.com 平台地址: http://www.jintiankansha.me/t/aD9AoVQUa3
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱