首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

Fable 5.2睁眼拼魔方,中国AI闭眼搓麻将!人类「手感」首次Token化

摘要

新智元报道 毫无预警,Anthropic深夜丢出了下一代旗舰Fable 5.2,直接杀入了物理世界。 它的全方位性能碾压Opus 5.5,更是展现出了惊人的泛化能力——哪怕是没见过的新任务,也能轻松驾驭。 徒手拼魔方、拧瓶盖、画机器人,安装齿轮并测试齿合, Fable 5.2拿下64.9%的成功率 ,在RoboDojo测试中轻松碾压一众对手, 足足是GPT-6 Astra的两倍还多。 就在两个月前...

https lingbot touch com Robbyant LingBot Touch robbyant github collections
2026-11-10 1 阅读 约10分钟阅读 新智元
分享:
字号:
新智元报道 毫无预警,Anthropic深夜丢出了下一代旗舰Fable 5.2,直接杀入了物理世界。 它的全方位性能碾压Opus 5.5,更是展现出了惊人的泛化能力——哪怕是没见过的新任务,也能轻松驾驭。 徒手拼魔方、拧瓶盖、画机器人,安装齿轮并测试齿合, Fable 5.2拿下64.9%的成功率 ,在RoboDojo测试中轻松碾压一众对手, 足足是GPT-6 Astra的两倍还多。 就在两个月前,GPT-6 Astra同样秀出了逆天操作——被极客接进双灵巧手后,当场弹起了肖邦夜曲。 看着是不是觉得大模型马上要接管物理世界了? 就在同一份测评里,RoboDojo测试团队把这位「前任榜单状元」Astra搬上真机,去挑战插充电器和插试管。 结果因为只有眼睛、没有触觉,插头明明已经顶歪卡死,它却完全感觉不到阻力。 于是,毫不知情的机械臂顺着视觉指令一路硬怼,当场把真机硬件撞坏了! 研究员吓得赶紧拉闸急停,最终在33次真机测试里,这两项任务一次都没成, 成功率直接挂零(0%) 。 为什么反差这么大? 因为拼魔方、画画这类活,靠「眼睛」看就够了,可真到了手上干细活,光靠摄像头根本来不及,也看不见。 一方面,杯子刚在指尖打滑,等摄像头拍到画面早就摔碎了。 另一方面,拧瓶盖到底是拧动了还是手指在空转,镜头里看着一模一样,而且接触点还经常被手指自己挡住。 也正因如此,汽车厂里插线束这种活,就因为缺了指尖那一下手感,奥迪坦言 全行业自动化率至今 还不到10% 。 说到底,今天机器人缺的已经不是更好的眼睛,而是灵敏的「手感」。 就在刚刚,蚂蚁灵波科技正式发布并开源 通用触觉基座模型 LingBot-Touch ,一举补上了这块最关键的短板! 项目主页:https://technology.robbyant.com/lingbot-touch 技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper GitHub:https://github.com/Robbyant/lingbot-touch Hugging Face:https://huggingface.co/collections/robbyant/lingbot-touch 魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch 它头一回把 视触觉、磁触觉、压阻式 三种不同的触觉信号,统一转换成动作模型拿来就能用的 「通用触觉Token」 。 这样一来,机器人终于能练出一套换只灵巧手也能接着用的「手感」。 532万参数即插即用 26项精细操作全线暴涨 在真机上,触觉反馈极度讲究时效。 因此,为了不跟视觉和动作模型抢算力,团队直接派出了最轻量的 Tiny版,只有532万参数 。 由此,接进三大主流动作模型后,参数量只多出 0.13%到0.16% ,几乎不加负担,却让灵巧手瞬间有了「分寸感」。 拿「抓喷雾瓶喷水」来说,塑料瓶身很滑,纯靠视觉刚一使劲,食指就会打滑脱手。 而接上LingBot-Touch后,指尖刚有一丝滑动就能立刻微调握姿、稳稳扣下扳机,成功率直接由42.50%飙升到 87.50% 。 再看更考验双臂配合的「挤牙膏」,软管捏轻了挤不出,捏重了又会飙得到处都是。 有了触觉Token帮忙,双臂不仅能稳稳对准窄小刷头,拇指还能顺着管身阻力细腻施压,把牙膏精准挤在刷毛上: 就连开头让视觉大模型撞坏真机的「插孔对准」,换到更精细的「拿钥匙开锁」上也被轻松拿捏。 只见指尖捏住小钥匙,顺着锁孔微弱的碰撞阻力边试探边微调,对准后干脆利落地一把拧开挂锁: 更有意思的是「盲摸麻将」,规则严苛到只要牌面露给镜头看一眼就直接判零分。 灵巧手全程不靠眼睛,指腹轻轻一按就能摸出凹凸花纹、分进不同盘子,成功率直接翻倍冲上 70% : 再比如拆开两个叠放的软纸杯,手指挡死了镜头,捏重一点杯子就扁,捏轻了又抽不出来。 但有了触觉Token帮忙,双臂就能顺着指尖微弱的摩擦变化,轻轻一搓抽出内层纸杯。 不止这些日常细活,团队用两款不同构型的灵巧手,搭配四款主流动作模型,一口气实测了 26项真机任务 和 12项仿真操作 , 接入LingBot-Touch的组合全线夺冠 : 三大动作模型全面提分 ,T-Rex、π0.5和LingBot-VLA平均成功率分别大涨了 23.18、21.81和24.81个百分点 ; 精细操作稳准狠 ,单页翻书冲上 91.25% ,按压弹出SD卡飙到 92% ,搬运软纸杯最高拿下了 100%满分 ; 12项仿真操作高分通关 ,转盘子、转笔成功率双双超 97% ,纯视觉0分的「端托盘平衡滚球」也拿下了 67.7% 。 左右滑动查看 5000小时真实触觉数据 灵巧手拿来就能用 既然触觉这么管用,为什么通用大模型这么难训?主要卡在 「 传感器 各说各话」 和 「极度缺真实数据」 上。 先看硬件,目前主流的三类触觉传感器,底层原理完全不同: 视触觉 是在指尖藏个小相机拍软胶形变,能看清极细微的接触,适合拧瓶盖,但受帧率限制反应不够快; 磁触觉 靠软磁材料受力改变磁场,擅长感知多方向力与滑动,适合拉拉链、插插头,但怕周围磁场干扰; 压阻式 则是材料受压后电阻改变,能低成本铺满手指和手掌,代价是分辨率有限。 这就导致同样是压住杯壁,三类传感器记录的是三种完全不通的「方言」,换只手就得推倒重训。 更头疼的是缺真实数据,过去全靠人遥操作机械臂去采,又慢又贵,根本喂不饱大模型。 为了解决数据难题,蚂蚁灵波想了个巧办法—— 让真人戴上轻便的触觉手套,在日常生活里直接采集「人类手感」 ! 这样一来,拧瓶盖、擦桌子、插插头,人手怎么发力,手套就怎么记。 最终靠着人手戴手套与真机遥操作结合,团队攒下全球最大的 近 5000小时(4983小时) 、13.3亿帧真实触觉数据 ,其中 足足三分之二来自人类手套 。 但人手和灵巧手长得并不一样,采来的数据对机器人管用吗? 对此,实测给出了让人惊喜的答案—— 人手攒下的「手感」,居然能零样本直接迁移给全新的灵巧手 ! 要知道,预训练里的磁触觉数据 100%来自人类手套 ,模型压根没见过测试用的新款磁触觉灵巧手。 可团队把触觉模型参数完全冻住、直接装上这只新灵巧手后,π0.5的平均成功率立刻由48%飙升到 74.17% ,搬运软纸杯更是由58%跳到了 90% ! 这意味着,读懂物理接触的本事已经跨越了硬件形态,原封不动地由人手传给了灵巧手。 统一三类触觉信号 靠预测受力练出真手感 那在底层,怎么把三种传感器、人手和灵巧手的数据装进同一个模型?灵波团队抓住了最核心的共性: 不管 传感器 测的是图像、磁场还是电阻,最后回答的都是同四个问题—— 手指碰在哪、用了多大力、力往哪边走、有没有在滑。 既然问题一样,团队就把「理解接触」单独拎出来,分三步做成了一个通用基础模型。 第一步,按原理分别「收件」。 具体来说,团队给三类传感器各设一个极简入口,转成统一格式后再交给同一个触觉主干网络学习,同类原理的新硬件直接就能接进来。 第二步,把所有指尖放进同一张「地图」(5D-RoPE)。 光格式统一还不够,不同灵巧手的
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱