首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?

摘要

机器之心发布 Coding Agent 要走向真实的 3D 生产管线,就必须跨越从 “单个物体” 到 “完整场景”,乃至 “可交互开放世界” 的鸿沟。 过去,三维重建、生成与编辑高度依赖传统视觉与图形学中的专用算法管线。而如今,具备视觉理解与程序执行能力的 Coding Agent 正在颠覆这一过程 —— 将以往所有的三维视觉难题,全部转化为代码生成问题 。 然而,现有的评测基准往往将 “静态几何...

Agent Coding Frontier3DBench Blender https Einsia Unreal Engine 大类别 145
2026-11-07 1 阅读 约10分钟阅读 机器之心
分享:
字号:
机器之心发布 Coding Agent 要走向真实的 3D 生产管线,就必须跨越从 “单个物体” 到 “完整场景”,乃至 “可交互开放世界” 的鸿沟。 过去,三维重建、生成与编辑高度依赖传统视觉与图形学中的专用算法管线。而如今,具备视觉理解与程序执行能力的 Coding Agent 正在颠覆这一过程 —— 将以往所有的三维视觉难题,全部转化为代码生成问题 。 然而,现有的评测基准往往将 “静态几何质量” 与 “动态世界交互” 割裂开来,难以回答一个核心问题: 「今天的 Coding Agent,究竟能否接住从物体、场景到开放世界的全栈创作需求?」 为此,Einsia AI 发布 Frontier3DBench 。该基准横跨 Blender 与 Unreal Engine 两大工业级环境, 涵盖 9 大类别、145 项任务(65 项物体 + 65 项场景 + 15 项开放世界) ,全面评测了 11 种主流前沿模型 与 Agent 框架配置,从 外观、结构与行为 三个维度,系统性地勾勒出 Coding Agent 的 3D 创作能力边界。 论文题目 :Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds 项目主页 :https://lab.einsia.ai/frontier3dbench GitHub :https://github.com/Einsia/Frontier3D Paper :https://lab.einsia.ai/frontier3dbench/Frontier3DBench.pdf 从捏物体、搭场景到造世界 Frontier3DBench 测什么? 在 3D 创作里,捏一个模型、搭一个房间,和造一个能跑能跳的开放世界,难度完全不在一个量级。每往前走一步,Agent 要照顾的事就多一层:物体讲究零件与比例,场景讲究空间布局,而世界则必须接住动作、交互与持续变化的状态。 以往的评测往往把这些环节切碎了 —— 有的只看静态资产美不美,有的只测游戏代码通不通。光看一个笼统的总分,很难搞清楚 Agent 翻车时,到底是因为丢了参考图细节、排错了房间位置,还是卡在了运行时的某步交互上。 为此,Frontier3DBench 将这三层要求装进同一套评测标准,涵盖 9 大类别、145 项任务: L1 物体层(65 项) :交付可编辑 Blender 资产,涵盖纯文本建模(Text2Code)以及单视图、多视图参考图重建(Img2Code)。 L2 场景层(65 项) :交付完整 Blender 场景,覆盖文本生成(Brief2Scene)、渲染图重建(Ref2Scene)、真实照片重建(Ref2Scene-RealPhoto)以及 “改局部、保周围” 的场景编辑(SceneEdit)。 L3 开放世界层(15 项) :交付 Unreal Engine 工程,要求根据文本(Text2Env)或参考图(Img2Env)构建多区域连通、支持连续交互活动的开放世界。 评测也跟着工程文件一路往里走,用三个坐标给每份 3D 答卷打分: 外观:看渲染结果,检查视觉美感与参考图还原度; 结构:拆原生工程,量尺寸、数零件、查穿模与连通性; 行为:跑独立测试,驱动角色在世界中实际穿行交互,验证动作与状态是否成立。 按 30%(物体)、30%(场景)、40%(世界)的权重汇总后,研究团队对 11 种主流大模型与 Agent 框架进行了全面摸底。 Sol 拿下总榜第一 但 “造世界” 换了领跑者 先看总榜: GPT-6.1-sol 以 66.02 分斩获总榜第一 ,在物体层(71.21)和场景层(70.35)优势明显。 但 9 个细分类别,没有任何一个模型能全部通吃 : 开放世界(L3) 的领跑者变成了 GPT-6-astra (均分 61.28); 文本生成物体(Text2Code) 的最高分属于 Claude Opus 5.5 (84.05); 场景编辑(SceneEdit) 则跑出黑马:总榜第六的 MiniMax-M3.1-Flash 以 78.70 分拿下单项第二,Kimi-K3 与 GLM-5.3-Flash 的编辑表现也双双超过全场均值。 想选一个做 3D 的 Agent,得先问清楚:你要它捏资产、改场景,还是去虚幻引擎里造世界? 自由发挥超 80 分 给张参考图却集体 “破防” 细看每个模型在各个任务上的得分,可以发现, 所有模型的 “参考图重建” 得分均显著低于 “文本生成” : 文本生成物体得分普遍高达 75.93~84.05 分 ; 到了多视图和单视图重建,全场最高分仅剩 69.61 分和 66.26 分 。 Qwen3.8-Max 把这种反差展现得尤为明显:其文本生成物体高达 81.98 分(逼近榜首 Sol 的 82.10),但多视图和单视图重建却骤降至 43.97 和 37.34。Kimi-K3.1-Pro 和 DeepSeek-V4.1-Flash 也呈现出 “ 强生成、弱重建 ” 的分布。 做出一个 “看着合理” 的作品已经不难,难的是跨过遮挡与透视,把 “指定的那个作品” 分毫不差地复刻出来。 差距藏在外观、结构与细节中 把总分拆成 视觉质量、结构一致性、任务完成度 三个维度,模型的短板更加一目了然。 物体和场景的视觉与完成度由 Sol 领跑,开放世界由 Astra 领跑;而在物体结构上,Opus 以 83.27 分微弱反超 Sol。整体来看,各模型把主部件摆对位置、搭出粗略骨架相对容易(L1 结构均分 72.77),但要把精细外观和细节填满则难得多。 落到具体作品上,高下立判: 纺车重建(L1 物体) :Sol 和 Opus 恢复了主要机械组件,Kimi-K3 则将其简化成了抽象的圆环与木杆,丢了核心传动件; 浴缸修复(L2 编辑) :Sol 和 Astra 让新浴缸严丝合缝地适配了原有支架,Luna 的浴缸外壳却与支架分了家; Minecraft 村庄(L3 世界) :Astra 和 Sol 还原了村落轴线与连续梯田地形,Luna 则把建筑密集堆在了平地上,丢了空间语境。 单个机关能跑 83 分 连成完整任务却跌到 30 分 开放世界的真正考验在代码运行的那一刻。所有模型在 L3 世界层的平均分,均低于各自的物体和场景成绩。 对 165 个生成世界的运行时测试,拆出了一组扎眼的数据: 局部交互 :平均 83.08 分 运动避障 :仅 20.82 分 状态与工作流 :仅 30.26 分 结论很明确:局部机关已经能做出来了,但很难把它们串起来。 单独写一个开关或机关,Agent 已经轻车熟路;但要让角色无穿模地跨区域移动、触发动作,并让改变后的状态持续影响下一步操作,从而跑通一整套活动,正是当前 Agent 亟待跨过的一道大关。 算笔经济账 花钱越多,作品就越好吗? 将综合质量与单题平均 API 估算成本放在一起,便有了这张性价比地图: 挑一个 3D 创作搭档,既要看作品,也得算清背后的 API 账单: 三大
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱