模型能感知调整3D物体位姿吗？首个交互式投影对齐空间推理基准

新智元报道 认出一个物体之后，换个角度还能认出来，进一步想象它转动后的样子，这些都涉及空间感知。人类需要在头脑中表示物体的形状与方向，理解不同视角之间的关系，并从二维投影中推断三维几何。 当视觉语言模型进入交互场景，这种理解还需要落到动作上。一次旋转会改变物体的轮廓、比例和遮挡关系；模型需要先预判变化，再观察执行结果，决定下一步怎么调整。回答对一道空间关系题，能否进一步支持这样连续的姿态控制？ 现有基准对此各有侧重。静态基准通常通过固定图像上的问答评估空间推理，缺少动作执行和闭环反馈；许多交互式基准则关注任务规划、工具调用或路径搜索。这些任务能够考察交互能力，却难以专门检验模型能否从视觉线索理解三维方向，并将这种理解转化为精确旋转。 因此， 视觉语言模型能否把二维观察转化为支持精确动作的三维理解？ 这要求模型联系物体的几何与姿态，预判旋转对投影的影响，并利用动作后的新观察不断修正。对于需要探索环境、理解几何并采取行动的智能体来说，这些判断连接着视觉感知与实际控制，也正是业界希望通过评测进一步观察的能力。 为此，来自厦门大学与南洋理工大学的团队提出了 RoTA-Bench ，通过交互式3D-to-2D投影对齐来评估这一能力。 论文链接 ：https://arxiv.org/abs/2610.17665 代码与数据集 ：https://github.com/MAC-AutoML/RoTA-Bench 在线 Demo ：https://www.modelscope.cn/studios/san2333333/rotabench-anon?mode=full&app_path=%2Fportal Hugging Face ：https://huggi ngface.co/papers/2610.17665 下面是RoTA-Bench中一个真实任务的交互界面。图片左上是T恤形状的目标轮廓，左下是物体当前的投影，右侧是带有深度明暗的物体视图。任务要求选择旋转动作，逐步让当前投影与目标轮廓对齐。 RoTA-Bench的真实任务示例。图片左上为目标轮廓，左下为当前投影，右侧为深度明暗辅助视图；底部按钮用于选择旋转方向与角度。 先往左转一点，还是先向上翻？这一步该转30°，还是只调5°？规则很直观，但每一步都需要将二维画面与三维姿态联系起来。 实验中，GPT-5.6-Sol在100个测试任务上的成功率为17%；20位本科生共同完成的400次任务运行则全部成功。 这个差距值得进一步拆开看：模型在哪一步遇到了困难？轮廓看起来更像目标，是否就意味着三维姿态也转得更对？ 看到这张图之后 下一步该怎么转？ 以前面的T恤示例来说，左右转动可能改变两侧轮廓，向上翻转可能改变整体比例；同一个物体换一个朝向，也可能出现遮挡。模型需要把眼前的投影与背后的三维姿态联系起来，判断应该沿哪个轴、朝哪个方向、转多大角度。 在RoTA-Bench中，模型每一步都会看到三部分信息：目标轮廓、当前投影，以及与当前投影使用相同视角的深度明暗辅助视图。辅助视图补充了二值轮廓中缺失的深度和遮挡线索。 随后，模型从 24种离散旋转动作 中选择下一步：三个旋转轴、正反两个方向，搭配 1°、5°、10°、30° 四种步长。每次执行后，环境重新渲染画面，模型再利用更新后的观察和交互历史继续调整。 这里既需要较大幅度的转动，也为精细调整保留了空间。朝向还差很多时，可以选择较大的步长；接近目标时，则可以尝试更小的角度。 当当前投影与目标轮廓的交并比（IoU）达到 0.90 ，任务成功。IoU衡量两个轮廓的重叠程度，数值越高，投影越接近。评测最多允许48次决策，也设有主动停止和停滞终止规则。 研究人员将交互限制为纯旋转，是为了把三维方向推理与平移、抓取、接触摩擦等因素区分开来，让问题集中在「如何根据视觉证据控制姿态 」 上。 这些物体从哪里来 为什么保证转得回去？ 如果直接使用常见三维物体，模型可能借助熟悉形状的先验作判断。 为了减少这类语义捷径，研究人员从二维矢量图标出发，在球形体积约束内构造三维物体。生成的物体在标准正面投影下能够还原原图，并保留细节。 接下来，用一串可逆的离散旋转把物体转到初始姿态。既然每一步都可以逆转，就能够通过逆序旋转回到目标姿态，从构建过程上保证任务可解。 在此基础上，研究人员进一步搜索并验证参考路径，按照参考路径长度分层选取测试任务。这里的参考路径用于任务筛选与分析，并不保证是最短解，也不会提供给被测模型。 最终，RoTA-Bench包含 674个任务 ，其中 100个任务组成冻结测试集 ，其余574个保留供后续训练与研究使用。 任务构建与闭环评测流程（论文图2）。图片上半部分展示从二维图标生成三维物体、通过可逆旋转初始化、验证参考路径与选取测试任务的过程；下半部分展示「观察—选择旋转—更新画面 」 的闭环评测。 一级 同样的任务 人类和模型相差多少？ 研究人员评测了9个视觉语言模型、2种智能体配置，并邀请20位本科生参与人类实验。 在100个测试任务上，GPT-5.6-Sol的成功率为 17% ，是本次评测中观察到的最高模型成功率。人类实验中，每位参与者完成一个包含20个任务的区块；20位参与者合计将整个测试集覆盖四遍，共 400次任务运行，全部成功 。 人类与模型使用相同的任务、视觉观察、旋转动作空间、决策预算和成功标准。人类通过按钮提交动作，模型通过结构化输出提交动作，最终都映射为相同的旋转操作。 RoTA-Bench总览（论文图1）。图片左侧为参考路径长度分布，中间为T恤任务示例，右侧为测试集成功率与最终IoU。人类结果汇总了每个测试任务的四次运行。 从旋转过程也能看到差距。人类轨迹的平均IoU随动作推进而整体提升，最终越过成功阈值；模型轨迹则较早进入平台期，多数停留在0.50—0.63附近。 平均投影IoU随已执行旋转步数的变化（论文图3）。结果基于同一组100个测试任务，包含人类的400次运行；虚线标出0.90的成功阈值。任务提前结束后，最终IoU保留至第48步。 但成功率只说明了最后有没有完成。要理解差距，还需要回到每一步：方向选得对不对，角度是否合适，投影变化与三维姿态变化是否一致？ 往哪边转、转多少度 分别难在哪里？ 模型没完成任务，会不会只是因为看到的物体表面还不够多？论文先检查了累计表面观察覆盖率：GPT-5.6-Sol为 79.58% ，人类为 83.07% 。两者的总覆盖率接近，但具体看过哪些区域、怎样利用这些观察，仍可能不同。 因此，研究人员进一步把每次旋转拆成两个选择： 方向，也就是旋转轴与正负方向；角度，也就是这一步转多大幅度。 先看方向。如果沿某个方向，至少存在一种合法角度能够减小三维姿态误差，就将这个方向记为「有效方向 」 。 GPT-5.6-Sol选择有效方向的比例为 58.75% ，人类为 83.91% ；均匀随机选择的对应值为53.78%。这说明，选择能够改善姿态的旋转方向，已经是模型面临的一道难题。 再看角度。即使选中了有效方向，转得过多或过少，也可能影响对齐。研究人员在已选中的有效方向内，比较模型选择的角度与最能减小姿态误差的合法角度。GPT-5.6-Sol的平均角度差为 6.49°