Token卷到触觉了！机器人终于有了通用手感

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> Token卷到触觉了！机器人终于有了通用手感 十三 2026-11-10 15:26:53 来源： 量子位 金磊 发自 凹非寺 量子位 | 公众号 QbitAI 太反差了。 明明给 机器人 装上了 触觉 ，它咋就变得更笨了呢…… △图片由AI生成 事情是这样的。 最近有个团队做了个实验，他们在 Sharpa Wave灵巧手 的五个手指上都装上了触觉传感器，任务是 让它把一个袋子的拉链拉上 。 他们选用的动作模型是 π0.5 ，在只靠摄像头的情况下，成功率来到了 39% 。 然后团队再把指尖传感器的读数原封不动地喂给它，按理来说，机器人多了一种感官，应当是拉拉链会更得心应手一些。 但您猜怎么着。 AUV（哎呦喂）……成功率直接 掉到了15%！ 而且这还不是个例。 同样是Sharpa Wave灵巧手和π0.5这个组合，接上原始触觉后去做 交接盒子 的任务，成功率从57%掉到48%。 即便是把灵巧手换成XHand，6项任务平均下来，成功率也从49.71%降到了48%。 那么机器人多了一种感官，反倒变得笨手笨脚的原因到底是什么？ 答案是，问题出在了 读数 这件事儿上。 因为触觉数据和其它数据还不太一样，机器人的手指大部分时间是不接触物体的，所以读数差不多就是一大片“0”；即使开始接触物体，信号也是稀疏且带噪声的那种。 加之不同的传感器还各司其职， 视触觉 负责拍指尖软胶的形变， 磁触觉 负责测磁场， 压阻式触觉 负责记电阻……数据，不尽相同。 △三类触觉传感器怎么感知接触，各有什么取舍 例如对于 捏住一个瓶盖 这个任务来说，三种传感器能给出的是三种完全不一样的数字，动作模型 看不懂 不说，还得硬用……可以说在 帮倒忙 了。 那此局又该怎么破呢？ 蚂蚁灵波 给出了一种解法——在传感器和动作模型中间 加一个“翻译” 。 （注：上面的实验便是蚂蚁灵波做的。） 简单来说，就是先把各种传感器读到的数据，翻译成动作模型能看懂的那种，例如手指碰在哪儿、用了多大劲、力往哪边偏、有没有打滑，然后再交给它。 还是那个π0.5，还是那个拉拉链的任务，如此操作下来，成功率便直接飙升到了 59% ，甚至比完全不用触觉还高20个百分点；交接盒子这个任务的成功率，也从48%回到了63%。 而这个“翻译”，便是蚂蚁灵波今天 最新开源 的触觉预训练基础模型 LingBot-Touch 。 在它的加持之下，刚才我们提到的拧瓶盖的动作，就变得非常丝滑了： 视频地址： https://mp.weixin.qq.com/s/b7PNN5A3W8e1bZDVNTd5tg 要知道，拧瓶盖很容易翻车的地方，恰恰在指腹和瓶盖贴在一起的那一小块：捏得稍微松一点，指腹就会在盖面上打滑，手腕转了半圈，盖子却纹丝不动。而这一幕，正是摄像头看不清的。 那么，LingBot-Touch这个“翻译”，究竟是怎么做到的？ 灵巧手需要一个翻译 我们先来把LingBot-Touch干的活儿给讲清楚。 简单来说，它负责接收磁触觉、视触觉、压阻式触觉这三类传感器的信号，再把它们 统一编码成一种触觉Token ，从中读出接触位置、受力大小，以及力的方向是怎么随时间变化的。 它的位置刚好卡在中间，往下能接上不同的传感器和灵巧手，往上则把这些Token交给不同的动作模型。 如此一来，不管各家传感器的信号如何五花八门，到了动作模型这里，都能被统一理解，可谓殊途同归。 △LingBot-Touch连接多种触觉传感器与真实灵巧操作 而且LingBot-Touch的轻量版 LingBot-Touch-Tiny 只有约 532万参数 ，目前技术报告、代码和模型权重也都已经开源。 那么，LingBot-Touch又是怎么练成的呢？ 整体来看，蚂蚁灵波团队主要分了三步走。 第一步是统一坐标。 团队遇到的第一个难题，是不同传感器的触点数量和排布差别实在太大。比如有的灵巧手光是拇指上就铺了116个触点，有的布料手套却只有一个3×3的小阵列。 如果按编号硬对，那肯定是对不上的。 为此，团队先把所有传感器的触点都映射到同一个标准化的指尖空间里，再给每个Token发一个“地址”，这个地址由时间、手指和三维位置共同组成。 地址会通过旋转位置编码（RoPE）进入模型。这样一来，模型就不再要求固定的触点数量，即便换一种布局，也照样能读。 在此基础上，三类传感器各自有一个轻量的入口，负责把原始读数转成Token；入口后面，则共用同一个触觉Transformer主干。 也就是说，传感器之间的差异交给各自的入口去消化，接触本身的规律，则放到主干里一起学。 △LingBot-Touch整体架构，三类传感器分入口、共用一个主干 第二步是在特征空间里做预测。 坐标统一之后，团队又碰上了第二个坑，也就是开头我们提到的那一大片“0”。 如果让模型去还原原始读数，它很快就会找到一条捷径，只要把“没碰到”的背景学好，损失就能降得很低。可这样一来，分数虽然好看，真正有用的接触信息却没学到多少。 所以LingBot-Touch选择了 JEPA路线 。 具体来说，训练时模型会随机遮住 90% 的触点，而且整段时间都遮着；然后，模型要根据剩下10%的变化，在特征空间里预测被遮住部分的表征，无需逐点还原读数。 如此操作之下，效果可谓是立竿见影，同样用1000小时数据训练，LingBot-Touch判断接触中心的误差是0.90毫米，而VAE和MAE都在3毫米以上。 再比如，用一段触觉去找对应的视频画面，LingBot-Touch的前5召回率是32.07%，另外两种方法则都不到6%。 △同样的数据，特征空间预测与还原原始读数的效果对比 第三步是扩充数据，防止模型死记硬背。 LingBot-Touch的预训练数据一共有 4983小时 、约 13.3亿帧 。其中三分之二来自人戴着触觉手套干活，剩下三分之一来自遥操作Sharpa Wave双臂机器人。 之所以大量用手套，是因为它不需要机器人，一个人一天就能在普通环境里录上好几个小时。而且这些数据只标注了开、关、装配、倒水这类任务类别，没有一帧标过力的大小。 △预训练数据的构成，覆盖三类传感原理 不过，数据攒够了，团队还得防着模型“偷懒”。 因为预训练里只有三种传感器布局，模型很可能直接把这三套触点位置背下来，等碰到第四种布局就抓瞎了。 所以在训练时，团队会随机改变触点的采样密度，再把每个触点的位置小幅挪一挪，逼着模型去学接触本身的规律。 在这三步走完之后，就该上真机检验了。 测试覆盖了两款灵巧手，其中 高自由度 的Sharpa Wave做 20项 任务， 低自由度 的XHand做6项，一共 26项 。 参与测试的动作模型有四种，分别是Diffusion Policy、π0.5、LingBot-VLA和T-Rex。每种模型都要在不用触觉、直接喂原始信号、接入LingBot-Touch这三种设置下分别测试。 结果，在两款手上，四种模型都是接入LingBot-Touch的那