让VLA更懂接触，优理奇UniTac让机器人拥有“触觉想象力”

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 让VLA更懂接触，优理奇UniTac让机器人拥有“触觉想象力” henry 2026-07-18 18:55:47 来源： 量子位 入选ECCV 2026 henry 发自 凹非寺 量子位 | 公众号 QbitAI 机器人，也开始拥有“触觉想象力”了。 过去一年，随着具身基础模型的快速发展，机器人已经能完成不少轮廓清晰、位置明确的操作任务。 可一旦涉及柔性物体、易损物体或密集接触，机器人往往就开始力不从“脑”。 无论是捏起一颗葡萄而不将它捏破，还是抓住一只纸杯而不让它变形，视觉只能帮助机器人找到目标，想要完成任务，机器人还需要人类与物体交互时不可或缺的触觉感知。 也正因为如此，现在也有越来越多团队开始将触觉作为建构机器人大脑的重要模态。比如，UniTouch、AnyTouch尝试统一不同传感器的触觉表征，FuSe、Tactile-VLA把触觉送进通用策略与VLA，近期的TacImag则开始探索让机器人仅凭视觉和本体感觉“想象”触觉；NVIDIA也推出TacSL等视觉触觉仿真工具，加速触觉策略从仿真走向真机。 但这些路线仍各有边界：传感器异构让数据难以互通，触觉理解、生成与动作应用也往往分散在不同模型中。 最近，UniX AI（优理奇机器人）联合浙江大学、麻省理工、牛津、耶鲁以及上海交通大学，发布最新科研成果UniTac，提出一套统一的跨传感器触觉理解与生成架构，并进一步接入VLA，为机器人补上了“触觉想象力”。 （该工作已被ECCV 2026接收） 简单来说，UniTac让机器人获得了一种 未触先感 的能力，可以让机器人像人一样，在真正碰到物体之前，先“想象”出它摸起来是什么感觉，再决定怎么下手。 比如，面对一个软杯，机器人会先预测它受力后的形变，再决定从哪里接触、该用多大力。 对比来看，在未融合UniTac的情况下，VLA就会将纸杯捏扁。 这意味着，对于机器人来说，触觉第一次从 碰到以后才知道”，变成了碰到之前就能预测。 而这背后，也对应着具身智能正在补上的一块重要能力：触觉。 机器人为什么需要学会“未触先感”？ 如果把过去几年机器人基础模型的发展，看作一个不断把AI锚定到真实世界（grounding）的过程，那么我们大致可以将其分为三层。 VLM（视觉-语言模型）完成的是第一层grounding：把抽象的语言概念对应到现实世界，让机器人知道眼前看到的是什么； VLA（视觉-语言-动作模型）再往前一步，把视觉语义和语言指令锚定到动作（轨迹），让机器人知道在任务场景时应该规划怎样的轨迹。 可当动作真正落地到物理世界时，往往还差着第三层grounding—— 机器人必须知道，应该怎样完成这次接触。 因为对于机器人来说，“抓取”只是一个动作标签，但现实里的每一次接触，却完全不同。 抓起一块毛巾，需要判断哪里更容易捏住，毛巾的材质、大小、形状、表面粗糙程度都会导致机器人抓错或抓取失败； 例如，在未接入UniTac时，VLA就无法抓起下图所示的橙色毛巾。 也就是说，真正决定机器人操作成功与否的，不只是轨迹，而是 接触过程本身。 而这，正是当前VLA模型面对柔性物体、易损物体和接触密集型任务时的短板： 动作生成缺少对接触过程的预判与理解 。 完全依赖视觉，机器人很容易对外观相似的物体采用同一套操作策略。而且如果等到接触发生后再根据触觉反馈修正，纸杯可能已经瘪了，薯片也可能已经碎了。 所以，如果机器人能够在真正碰到之前，就已经知道未来的触觉状态，那么第一次接触，就会变得安全得多。 为了实现这一点，UniTac先从大规模、多传感器数据中学习统一的触觉表征，再根据视觉信息预测潜在触觉状态，把触觉从“接触后的反馈”前移成“接触前的先验”，并送入VLA。 值得一提的是，这并没有取代接触后的实时反馈，而是在第一次下手之前，让机器人先预判这次接触可能带来的物理后果。 比如，在同样面对两块看起来差不多的毛巾时，基于UniTac的基础模型，就能提前预判毛巾的质感、颜色，从而规划、完成毛巾的单层抓取动作。 接下来，我们具体来看UniTac是怎么做到的。 跨传感器的理解与生成 为了让触觉进入基础模型，UniTac先处理了最难统一的数据问题。 触觉图像虽然看起来很像RGB图像，但产生方式却完全不同。 以GelSight、DIGIT、Duragel等视觉式触觉传感器为例，它们本质上是通过相机记录凝胶受压后的形变。 所以，一张触觉图像里通常混着两类信息：一类来自物体，包括硬度、粗糙度、纹理和接触形变；另一类来自传感器，包括光照、凝胶状态、Marker布局和相机参数。 这意味着，同一个物体，换一种触觉传感器，得到的数据可能完全不同。模型如果分不清哪些变化来自物体、哪些来自传感器，就很难实现跨设备泛化。 与此同时，过去的触觉模型大多建立在单一传感器或小规模数据集上。 比如PHYSICLEAR只有482段触觉视频，而整个社区其实已经公开了超过40万段触觉视频、160万帧数据。 这就是说，真正的问题并不是没有数据，而是这些数据长期分散在不同传感器、不同数据集和不同任务中，无法被统一利用。 为解决这些问题，UniTac把触觉理解和触觉生成放进同一个多模态框架，统一吸收来自不同传感器的数据。 具体来说，UniTac将触觉拆分成两个部分：物理属性和传感器配置。 前者描述物体在接触中呈现出的硬度、粗糙度和纹理等属性；后者刻画传感器的光照、凝胶状态、Marker布局和相机参数等配置。 而UniTac的整体架构，就围绕这两方面展开。 在 理解端 ，模型同时学习物体属性描述和传感器识别。前一个任务让模型理解表面属性，后一个任务让模型辨认信号来自哪种设备。 这里之所以增加传感器识别，并非单纯多做一道题，它迫使模型区分，哪些变化来自物体，哪些变化来自传感器。 从下图我们可以看到，面对不同传感器采集的触觉视频，UniTac已经能够围绕硬度、粗糙度和纹理，生成与接触材料相符的描述，并能完成属性比较、物体匹配和极值选择等推理任务。 在 生成端 ，UniTac则分两步训练。 模型先训练触觉解码器，学习重建真实触觉信号；再用Sensor-Aware DiT Projector，将MLLM的语义输出对齐到触觉latent空间，并加入对应的传感器token。 生成触觉时，UniTac还改掉了普通生成模型常用的“无条件分支”。 原因很简单，研究发现触觉其实不存在真正的无条件状态。任何一段触觉信号，都由某个具体传感器产生。 因此，UniTac先给定目标传感器未接触物体时的状态，再生成接触发生后，由物体属性带来的变化。 最后，实验结果进一步表明，UniTac并非只在某项指标上实现单点领先，而是在触觉理解与触觉生成两端都展现出优势。 在触觉理解方面，UniTac-7B在PHYSICLEAR-Test上以66.51分领先Octopi等触觉理解模型，以及BLIP3o等统一模型。 具体的，在属性—物体匹配任务中，UniTac-7B取得64.61分，这说