从电脑使用到机器人使用：一套接口让VLM直接「玩转」真实机器人

标题：Show-Harness: Just a VLM Agent Can Play Robots 作者：Yanzhe Chen*, Zechen Bai*, Zhijun Cao*, Wenzheng Zeng*, Kevin Qinghong Lin, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Qiming Huang, Mike Zheng Shou† 单位：新加坡国立大学 Showlab 项目主页：https://showlab.github.io/Show-Harness/ 论文链接：https://arxiv.org/abs/2609.10522 开源代码：https://github.com/showlab/Show-Harness 开源模型：https://huggingface.co/showlab/Show-Harness-VLMs 开源数据：https://huggingface.co/datasets/showlab/Show-Harness-Data 今天的 Agent 已经能看懂屏幕、理解任务，并通过 click、type、scroll 等鼠标键盘操作来完成数字世界的任务，那么它距离操控真实世界里的机器人，还差什么？ 过去一段时间，越来越多工作开始尝试让 GPT、Claude、Gemini 等 frontier models 参与真实机器人控制。这背后有一个很直接的判断：当我们讨论具身智能时，常常强调 “具身”，但核心仍然是 “智能”。而今天最强的智能，包括视觉理解、空间推理和任务分解等能力，都逐渐集中到 frontier foundation models 中。 问题在于，这些能力并不会自然的变成机器人动作。过去的研究尝试了不同的路线去利用 foundation model。传统的 VLA 往往让模型基于图像和任务指令直接回归连续控制量；另一类系统则让大模型只负责规划，再由独立的控制器完成物理执行。前者需要为不同机器人和数据分布反复适配，后者又拉开了语义决策与实际动作之间的距离。 新加坡国立大学 Show Lab 的研究者提出 Sh ow -Harness 。这个工作的出发点不是再训练一个更大的机器人策略，而是追问： 如果给 foundation model 一个它能够理解、组合并持续校正的物理接口，它已有的智 能能否更直接地进入物理世界？ 图 1：Show-Harness 在不同任务、环境、机器人形态和模型上的真实机器人演示 Robot-Use 也需要接口 Computer-Use 相关的研究给出了一个很直观的参照。在电脑上，Agent 并不需要输出底层驱动信号；它面对的是 click、type、scroll 等清晰、可组合、能从观察中验证结果的动作接口。模型据此形成 observe → reason → act 的闭环。 机器人控制也可以从类似的视角重新理解。真正难的并不只是 “让模型决定一个动作”，而是设计一层接口：它既要让 VLM 能够把视觉和空间理解映射到行动意图，又要足够细粒度，能在真实世界中完成接近、对齐、抓取、放置和修正。 Show-Harness 作为专门为具身智能设计的 Embodied Harness ，其核心就是这样一套介于模型和机器人控制之间的语义动作接口：对于模型而言，动作是可读、可推理的语义单元；对于机器人而言，动作会由各自的解释器转成受安全边界约束的本地控制命令。 图 2：Show-Harness 概览。不同 VLM 通过同一语义接口与不同机器人形态连接 不让 VLM 去 “猜” 连续控制量， 而是让它持续做细粒度决策 Show-Harness 的动作空间包含一组紧凑的语义动作单元。例如，模型可以选择相对于当前参考视角的前后、左右、上下移动，也可以做绕特定轴的旋转、抓取、释放或结束任务。 这种表示有两个关键点： 语义上可理解 。 模型不必直接输出关节或末端位姿数值，而是围绕 “目标在什么方向”“下一步应靠近还是下移”“是否已经对齐” 来决策。这种更明确的语义表达更容易被模型所理解，并在其上进行推理。 物理上可落地。 每一个语义单元都对应一个小而有界的物理变化。不同机器人通过各自的动作解释器，把相同的动作意图映射为各自的运动控制目标。 因此，模型侧接口不随机器人形态改变；改变具身平台时，系统替换的是底层动作解释器，而不是要求 VLM 重新学习一套面向关节和坐标系的动作语言。对零样本 frontier agent 而言，论文中的跨具身本体的切换仅通过更换机器人底层控制解释器完成。 更重要的是，这不是一次性输出长计划再 “盲执行”。Harness 将多视角图像、机器人本体状态、短期动作历史和任务描述组织进循环：模型观察当前状态、分解或更新子任务、做出语义动作，执行后再根据新的视觉与状态反馈继续修正。 图 3：Show-Harness 的 perceive–reason–act 闭环。感知、推理与执行模块围绕共享语义接口组织。 GUMI：一套 GUI，同时服务人类和 Computer-Use Agent 如果语义动作本身可读、可理解、可操作，它就不应只属于模型。Show-Harness 团队进一步构建了 GUMI（GUI-based Manipulation Interface） ，把同一套机器人语义动作单元呈现为浏览器中的图形控件和键盘快捷键。 这形成一个很自然的统一： 人类操作者 可以通过键盘远程 “玩” 机器人，不需要额外的专用遥操作硬件； Computer-Use agent 可以像操作网页一样操作同一个 GUI 来控制机器人； VLM robot agent 则可以直接预测同一套语义动作，而无需经过 GUI 点击。 每一步操作前的观察与被选择的语义动作会被记录成 (observation, action) 数据对。由于动作解释器同时保留相应的低层命令和轨迹，一份 demonstration data 既可用于训练基于 Show-Harness 的动作策略，也可转化为连续控制 policy 的数据；同样的流程还能覆盖单臂、双臂、仿真和真机，并允许人在 agent 执行过程中介入修正。 图 4：GUMI 将语义动作做成 GUI。左侧是双臂机器人控制界面，右侧展示 Computer-Use agent 通过浏览器操作同一界面。 论文中，团队通过 GUMI 在真实机器人上采集了 164 条遥操数据、约 7.8K 个决策步骤：其中 Franka 为 101 条（5.0K 步），AgileX 为 63 条（2.8K 步）。仿真部分则收集了 230 条遥操数据、13.5K 个决策步骤，覆盖 ManiSkill 与 RoboLab 两个环境。 从更高的视角来看，GUMI 不只是一个数据采集工具。它把人类控制、GUI agent 控制和 VLM 直接控制对齐到同一动作语义中，让 “人如何示范”“Agent 如何操作”“模型如何学习” 不再是彼此割裂的三条管线。 同一套动作接口，跨模型、跨本体、跨任务 这套语义动作接口的目标不是绑定某一个特定的模型，而是成为 foundation model 和物理系