GPT 5.6 Sol是OpenAI有史以来发布的最好的“视觉”模型

上周，OpenAI 宣布了 GPT-5.6 系列，推出了 Sol、Terra 和 Luna 模型。在发布过程中，团队主要关注计算机的使用，展示了能够导航和操作桌面应用程序的模型。 OpenAI 强调了 UI 代理和详细的 3D 可视化，但两者都依赖于更强的视觉理解。为了测量他们的视觉能力，我们通过即将推出的 VLM 基准测试来运行模型，我们计划在未来几周内发布该基准测试。该基准测试涵盖常见的视觉任务，包括检测、计数、OCR 和数据提取。在这篇文章中，我们将仔细研究 GPT-5.6 在每个方面的表现。 Sol 显然是 OpenAI 迄今为止发布的最好的视觉模型。这种跳跃在物体检测和计数中尤其明显，其中 GPT-5.5 远远落后于最强的 VLM。 Terra 和 Luna 不如 Sol 强大，但两者都比 GPT-5.5 取得了有意义的进步。在 Roboflow Playground 中测试 Sol、Terra 和 Luna，并在相同的视觉任务中将其结果与 Claude Fable 5 和 Gemini 3.5 Flash 等模型进行比较。 Roboflow Playground 对象检测 检测是 GPT-5.6 显示最明显跳跃的地方。 GPT-5.5 在我们的基准测试中得分为 13.8 mAP@50，而 Sol 达到 46.2。 Terra 和 Luna 紧随其后，分别为 44.7 和 43.3，移动物体检测从主要弱点变成了实用能力。文档布局检测是 GPT-5.6 最明显的优势之一。 Sol 很好地处理了标题、段落、表格、图像和签名。许多文档工作流程首先在 OCR 或数据提取开始之前定位页面的相关部分。 GPT-5.6 在密集场景上也表现良好。药丸和鸡蛋示例包含许多紧密排列在一起的相似物体，这是基于 VLM 的检测的常见弱点。与传统检测器不同，VLM 生成每个类标签和一组坐标作为文本。随着对象数量的增加，响应时间会变长，丢失对象、重复对象或坐标错误的风险也会增加。尽管如此，Sol 仍然检测到了两个场景中的大多数物体。为了获得最佳检测结果，请提示 GPT-5.6 模型返回图像像素中的绝对 XYXY 坐标。这与 Gemini 3.5 Flash 不同，后者在 YXYX 坐标标准化为 0-1000 范围时表现最佳。在我们的基准测试中，使用错误的坐标格式使 GPT-5.6 检测性能降低了大约 15 个 mAP 点。在少数情况下，GPT-5.6 Sol 在图像中看似随机的部分返回了方框。许多与事实真相没有重叠，或几乎没有重叠。这些盒子常常形成不自然的布局，例如直行或均匀间隔的组，而不是与可见对象相匹配。我们与 OpenAI 分享了这些示例。他们的团队证实，Sol 在 2,000 x 2,000 像素左右或更大的图像上变得不太稳定，特别是在推理工作量较低的情况下。更高的推理工作可以提高稳定性，但也会增加令牌使用、延迟和成本。在将大图像发送到 OpenAI API 之前调整大小或裁剪大图像是最实用的解决方法。对象计数 整个 GPT-5.6 系列的计数得到了改进。 Sol 在我们的基准测试中得分为 73.0%，高于 GPT-5.5 的 64.9%，而 Terra 和 Luna 分别达到 67.6% 和 66.2%。 Luna 是该系列中最便宜的模型，但其性能仍然优于之前的 OpenAI 基准。作为基准测试的一部分，我们测试了需要的不仅仅是发现对象和返回总数的情况。 Sol 计算了大量重叠的金属支架，这对于传统物体探测器和 VLM 来说都是一个困难的情况。索尔还只计算选定得分区域内的弹孔，这表明他了解要计算的对象以及规则应用的位置。事实证明，泡罩包装要困难得多。在单独的提示中，我们要求索尔数出空槽和仍密封在包装内的药丸。重复的布局、反射以及填充槽和空槽之间的微小视觉差异使这两项任务变得困难。异常糖果的例子暴露了另一种类型的失败。索尔给出了错误的计数，但尚不清楚该模型是否错误地计数了糖果或误解了目标类别。 OCR 和数据提取 OCR 性能保持接近 GPT-5.5。 Sol 的平均相似度得分为 90.7%，仅落后 GPT-5.5 的 91.2% 0.5 分，而 Terra 和 Luna 分别达到 88.8% 和 88.4%。文本提取方面的差距更大，Sol 的得分为 82.5%，而 GPT-5.5 的得分为 87.6%。 Luna 和 Terra 紧随其后，分别为 81.4% 和 79.4%。作为基准测试的一部分，我们将完整转录与目标提取分开。 OCR 要求模型转录所有可见文本，而文本提取则要求特定的信息。 Sol 在两种设置中都在手写笔记上表现良好，在一种情况下生成完整的转录，在另一种情况下提取请求的日期。 Sol 在复杂视觉场景中嵌入的文本上表现良好。它读取沿着肮脏、磨损的轮胎的弯曲表面打印的轮胎尺寸序列。在另一个例子中，它提取了