GPT-6 Astra 外星人「看错」流程图？ Einsia AI发布PPTBench，视觉编程还有多远？

机器之心发布 Coding Agent 正在从屏幕里的终端世界走向屏幕外的物理世界。 过去，Agent 面对的主要是文本：给它一个任务，它通过调用工具、修改代码、运行测试，最终交付软件。整个过程，本质上都发生在字符串之间。 但如今，越来越多的任务开始将 「视觉世界本身作为输入」 。 一幅流程图、一张网页设计稿、一个 3D 场景草图，甚至一整页 PPT，都可以成为 Agent 需要理解并用代码重建的目标。于是，Coding Agent 正在面临一项新的考验： 「Visual Coding」—— 看懂一个视觉目标，并把它转化为可执行、可编辑的代码。 这看起来只是多了一层视觉输入，实际上却引入了一个全新的挑战：在保证代码能运行的基础上，Agent 必须还要从视觉输入中理解对象、结构、空间关系和语义，再把这些信息准确地编码进程序。 那么，如何才能既看清 Agent 在 Visual Coding 上走到了哪一步，又推动它继续向前？ 一个好的测试载体，既要有足够丰富的视觉结构，又要能够被程序化地表达和编辑。 PPT 恰好满足了这两个条件。 一页 PPT 不是一张简单的图片，而是由文本、形状、连接线、分组和空间布局共同组成的可编辑对象集合。它既保留了视觉世界中的结构，又给出了一个天然的程序化表达空间。视觉上的相似，并不意味着语义上的正确。 一条箭头接错节点，流程关系就变了；一个小节点被漏掉，整个过程的含义也可能随之改变。 这也正是 Einsia AI 旗下 Navers Lab 最新发布的 PPTBench 想回答的问题： 「今天的 AI Agent，能不能真正看懂视觉目标，并把它准确转化成代码？」 论文题目：PPTBench: Can Coding Agents Reconstruct the Visual World through Structured, Editable Slides 项目主页：https://lab.einsia.ai/pptbench GitHub：https://github.com/Einsia/PPTBench arXiv: https://arxiv.org/abs/2609.29718 AgentGit（查看部分评测Session）: https://agent-git.com/@einsia/ppt-bench 当 Agent 不再只是写代码，而是要理解 “图在说什么” PPTBench 的任务来自真实科学论文中的流程图和架构图。研究团队从中构建了 500 个任务 ，覆盖系统与软件、人工智能、计算机视觉、语言与语音、量子与基础物理、天文、机器人、生物医学等 13 个领域 ，同时包含多面板图、层级结构、重复网格、复杂连线和文字密集等不同类型的布局。 对 Agent 来说，任务非常直接： 给定一张流程图，用代码把它重建成一页 PowerPoint。 输入是一张确定的视觉目标，输出则是一份真正由代码生成的、可编辑的 PPTX。Agent 不能简单地把原图贴进幻灯片，而需要用文本、形状、连接线等原生 PowerPoint 对象，把看到的内容重新表达出来。 真正困难的地方，也恰恰藏在这里。 Agent 首先要看懂这张图：识别其中有哪些节点、文字和关系，理解连接线从哪里出发、指向哪里；然后要把看懂的内容写出来：将这些结构准确地映射到二维画布，处理节点大小、间距、文字和连线的位置；最后还要交付一个正确的程序化产物：生成的 PPTX 能够正常打开，里面的内容也必须是真正可编辑的对象。 换句话说，这不是简单地 “把一张图画出来”。 它要求 Agent 同时解决三个问题：看懂、写对、交付。 流程语义错了，图表达的就是另一个算法；几何位置错了，虽然还能看懂，却失去了原图的精确结构；产物本身出了问题，则连后续查看和编辑都无法进行。 也正因为如此，一个看似简单的 “照着图做 PPT”，实际上成为了检验 Visual Coding 能力的一道综合测试。 输入：一张流程图 输出：Agent重建成为可编辑的PPT Agentic Judge：让 “看懂” 和 “做对” 都能被评测 一张还原出来的 PPT，可能和原图看上去几乎一模一样。但如果它本质上只是一张截图，就无法真正编辑；如果箭头方向反了，流程表达的语义也随之改变；如果出现大面积渲染错误、文字溢出或严重遮挡，整张幻灯片甚至失去了基本的可读性。 更复杂的是， PPT 中的同一个视觉元素，往往可以有完全不同的对象表达方式 。 一个田字格可以由四个方块组成，也可以由一个方块和两条直线组成；一个对勾可以由两条直线拼成，也可以由一个多边形直接绘制。对于传统的规则系统来说，很难穷举这些 “一对多” 的表达方式。 PPTBench 因此设计了一套 Agentic Judge 。它不要求 Agent 按照某一种固定的对象树来重建，而是从最终交付的 PPT 出发，逐层判断它是否真正完成了任务。 首先是一个 Artifact Gate ，判断产物是否具备进入正式评测的资格。Judge 会检查 PPTX 能否正常解析和渲染，是否生成了单页幻灯片，是否包含足够的原生可编辑对象，以及是否存在直接贴图等不符合要求的情况。 如果产物本身无效，就直接判为 0 分。 通过 Gate 后，Agentic Judge 再依次完成三个阶段的评测。 Stage 1：先判断 “做没做对” 这一阶段关注的是最核心的问题：Agent 重建出来的图，是否还在表达原来的过程。Judge 会从整体上理解参考图和生成结果，判断关键关系有没有被正确还原。只要流程本身发生了改变，即使视觉上再接近，也不能算正确。 Stage 2：再判断 “能不能看” 语义正确之后，Judge 进一步检查生成结果是否具备基本的可读性。严重的渲染问题或排版错误，可能让一张语义正确的 PPT 依然无法使用。这一阶段主要排除这类影响整体阅读的错误。 Stage 3：最后判断 “有多像” 通过前两关之后，Judge 才进入细节层面的比较。它会进一步分析整体布局和局部视觉差异，并把发现的问题结构化记录下来。这里不再要求两份 PPT 使用完全相同的对象表达方式，而是关注最终呈现出来的视觉结果是否足够接近。 总结来说， Agentic Judge 并不是简单地问 “这张 PPT 像不像原图”，而是依次回答三个问题：它做对了吗？它能看吗？它还差多少？ Agent 距离稳定复现 PPT 还有多远？ 研究团队测试了 10 个模型、36 种配置，每种配置完成同一组 500 个任务。每份结果经过三轮评审，累计得到 54,000 份评审记录。 GPT-6 Astra High 以 77.34 分 位居榜首。在 500 个任务中，它全部生成了有效产物， 80.8% 同时通过语义和渲染检查。 其他参评模型中， Kimi K3 High 表现最好，得分为 67.80 ； GPT-5.6 Sol Max 和 Qwen 3.8 Max XHigh 分别得到 49.28 和 47.69 分。 Astra 的领先比较明显，但即便是这一最优配置， 也仍有近两成任务没能同时通过两道检查 。 这些分数背后，模型究竟在哪些环节出了问题？ 视觉理解，远难于代码本身