智能AI
morning
今年最难的机器人Demo,“机器人含量”为0
摘要
今年最难的机器人Demo,“机器人含量”为0 henry 2026-09-03 08:51:16 来源: 量子位 henry 发自 凹非寺 量子位 | 公众号 QbitAI 今年5月,英伟达机器人负责人Jim Fan在一场公开演讲中宣告:VLA、遥操已死。 当时,绝大多数人听到的第一反应都是:从来不缺暴论的AI圈,又多了一条新暴论。 但没想到,几个月后,这句当时听起来有点夸张的话,居然真的开始照进...
henry
量子位
今年最难的机器人Demo
机器人含量
2026
凹非寺
公众号
QbitAI
今年5月
英伟达机器人负责人Jim
2026-09-03
1 阅读
约9分钟阅读
henry
字号:
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 今年最难的机器人Demo,“机器人含量”为0 henry 2026-09-03 08:51:16 来源: 量子位 henry 发自 凹非寺 量子位 | 公众号 QbitAI 今年5月,英伟达机器人负责人Jim Fan在一场公开演讲中宣告:VLA、遥操已死。 当时,绝大多数人听到的第一反应都是:从来不缺暴论的AI圈,又多了一条新暴论。 但没想到,几个月后,这句当时听起来有点夸张的话,居然真的开始照进现实。 刚刚,自变量发布全新灵巧操作系统 TwinDex 。在 后训练阶段真机遥操数据为0 的情况下,机器人连续完成了化学实验场景中,旋拧瓶盖、注射器推注等多项精细操作。 要知道,以往想让机器人学会这类精细操作,还真少不了真机遥操数据来“手把手”教学。 但TwinDex这次,直接把这部分数据需求给砍没了,取而代之的是区区几百条 无本体数据 ,机器人含量几乎为0~ 这是怎么做到的? 遥操,可能真的危险了 俗话说,好的Demo,值得细细品鉴。 TwinDEX这次放出的Demo里,最完整的一段,是一套一镜到底的化学实验: 从开瓶取样、滴管与试管操作,到玻璃棒引流、摇匀观察,全程由策略自主执行。 整个实验包含 24个子动作 ,跨越 三种工具 ,涉及多次双手协调与工具切换,每一步都要求毫米级定位与稳定力控。 而拆开来看,TwinDEX这三根手指,实际上集中展示了几类过去灵巧操作里最难啃的能力。 首先,是对精度要求极高的 精细操作 。 在打开工具箱时,机器人需要让左右两根食指同时对准两个狭窄卡扣,准确插入后向下拨开,再用食指和拇指捏住提手,把箱盖打开。 这里的难度在于,机器人的手能不能准确进入一个容差很小的空间,从而完成操作。 同理,注射器推注也是类似。 食指和中指固定筒身,拇指对准推杆向前发力,既要保证位置不跑,又要精确控制推注方向和力度。 随着具身智能逐步走进实验室、工厂和家庭,这类小容差、高精度、强接触的操作,也会越来越接近机器人的基本功。 第二,是 三指协作 。 比如在扫帚和簸箕任务中,三根手指围绕手柄形成包络,让不同手指共同承担支撑和控制。 相比只有两根手指,第三根手指多提供了一个接触点,也多了一种稳定物体的方式。 尤其是在工具使用、长条物体抓持这类任务里,这个额外的支撑点相当关键。 第三类,则是更接近人手的 柔性操作和掌内调整 。 在拧开瓶盖时,TwinDEX用食指和拇指捏住瓶盖,再靠手指自身的侧摆完成旋转,几乎不用大幅转动手腕。 而在翻书中,机器人的拇指则先把最上层书本搓出来,再完成捏取、双手交接、放置和翻页。 我个人看完这一圈,一个很直观的感受就是: 以往在处理这类动作时,大家往往会下意识想到结构更复杂的五指灵巧手,以及庞大的真机遥操作数据。 但上面的Demo恰恰说明了一件事: 很多过去被认为需要五指完成的精细操作,三根手指其实已经够用了。 而且某种程度上,这三根手指头,已经比不少五指灵巧手玩得还溜。 不过,前面这些其实只是TwinDEX站在台前、作为机器人 执行器 的一面。 而在机器人真正上手干活之前,它还有另一重身份, 一套与执行端匹配的可穿戴无本体数据采集系统。 相比很多在数据采集和机器人执行阶段使用两套不同硬件的方案,TwinDEX直接采用了 数采与执行同构 的设计。 说人话就是,这三根手指不光负责干活, 采数据也用的是同一套结构 ,也就是所谓的 “所采即所得” 。 采集员在采集端做出的动作,可以更直接地映射到机器人执行端,中间不用再跨一套完全不同的硬件去做复杂的数据迁移。 也正因为如此,前面那些对指尖位置和力度都要求极高的精细操作,才能更稳定地被机器人做出来。 与此同时,相比直接遥操一台笨重的机器人,采集员可以更自然、更快速地完成动作,数据也更好采,也更省钱。 实验结果也确实验证了这两点。 在 采集效率 方面。TwinDEX单位时间能够产出的有效轨迹,约为传统真机遥操的 5.3倍 。 同样一个采集员、同样一段时间,TwinDEX能够更快地攒出一批真正可用于训练的数据。 而在数据利用效率方面,自变量则发现: 随着数据量增加,无本体数据和真机遥操作数据训练出的策略,会以相同的速率持续提升,并最终收敛到接近的表现。 换句话说,在这组实验中,训练模型时,无本体数据近乎可以100%替代真机遥操作数据。 所以,作为数据采集器,TwinDEX解决的并不只是“怎么把数据采得更快”。 更关键的是,它在提高采集效率的同时,也尽可能减少了这些数据真正迁移到机器人身上时的精度损失。 而这两件事,最后都指向了同一个问题: 怎么让无本体数据真正变成机器人能用的数据。 TwinDEX:让具身数据提前对齐 严格来说,TwinDEX其实并不只是一套三指灵巧手。 它更像是一套由 数据采集硬件、机器人末端执行器、数据处理管线和模型训练流程 共同组成的灵巧操作系统。 而且,并不是简单让数据采集端和机器人执行端长得一样,就能自然完成数据迁移。 TwinDEX真正关键的地方,是从只依赖无本体数据完成后训练、去掉真机遥操作数据这个目标出发,再反过来设计整套系统。 从灵巧手的构型、采集设备的运动方式,到视觉观测、时间同步、数据处理,再到最终的模型训练,实际上都在围绕同一个问题展开: 怎样让采集出来的数据,从一开始就尽可能接近机器人真正需要的数据。 理解了这一点,我们接下来看TwinDEX最直观的硬件部分。 从实际Demo里的功能分工来看,拇指和食指承担了大量对掌、捏取、旋拧和精细操作,第三根手指则能够进一步提供包络、支撑和稳定。 整套TwinDEX的设计,可以概括成三个特性: 灵巧性、一致性和可扩展性 。 第一个,是前面已经反复出现的灵巧性。 TwinDEX既没有选择UMI一类常见的两指夹爪,也没有照着人手一路堆到五指,而是在 灵巧性、稳定性和工程复杂度 之间取了一个折中。 众所周知,手指越多、结构越接近人手,理论上的灵巧操作上限当然越高。 但与此同时,增加的还有更多关节、驱动器、传感器,以及随之而来的标定、控制和维护成本。 反过来,两指夹爪虽然足够简单,却很难覆盖旋拧、掌内调整、多点接触等精细操作。 因此,在经过基础抓取、原地旋拧、工具使用和掌内操作等元操作测试,并与多种候选构型对比后,自变量最终发现: 三指九自由度,就是目前的甜蜜点,它可以用相对可控的复杂度,覆盖当前大多数任务真正需要的灵巧能力。 第二个,也是TwinDEX最关键的设计思路,一致性。 这里的一致性,是指TwinDEX的数据采集端和最终执行端 运动方式 、 接触方式 、 视觉观测 、 采集精度 和 时间同步 上,都尽可能保持一致。 这也是TwinDEX能够减少真机遥操数据需求的关键。 过去,很多无本体数据虽然好采,但真正迁移到机器人身上时,往往会遇到一个问题: 采集端和执行端并不是同一套本体 。 人的手怎么动、采集设备怎么记录,到了真正的机器人上,不一定能原样复现,中间通常都会存在运动学差异和精度损失。 所以,这类数据虽然容易Scal
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱