首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

开发者真机上手!具身智能,还得这群人补位

2026-11-19 1 阅读 约10分钟阅读 机器之心
分享:
字号:
编辑|杜伟 一台 2000 块买来的双臂机器人,实验做到一半,两个舵机坏了,怎么办? 复旦大学 FDU_SONIC 战队的四名学生,干脆把几台机械臂拆开,拆下零件,再拿去修另一台。好不容易让设备重新运转起来,更现实的问题还在后面:就算模型在仿真环境里跑出高分,他们平时也很难摸到真机。一台科研双臂机器人动辄数万元,对多数高校团队来说,买了未必有经费,有经费未必排得上用。 这支最初只想来学习的队伍,最终从 1855 支报名队伍中杀进 15 强,并最终拿下三等奖。 类似的故事,在首届蚂蚁灵波具身大模型挑战赛中多次上演。比赛吸引了 3000 多名选手报名,覆盖 13 个国家、648 家高校、科研院所及企业,成为目前规模最大的同类赛事。 赛制的特别之处在于所有参赛队伍使用同一个基座模型:蚂蚁灵波开源的 LingBot-VLA 2.0。初赛阶段,选手们围绕 RoboTwin 2.0 仿真环境进行模型训练和调优。进入到决赛,考场从虚拟环境转向真实机器人平台。 11 月 14 日至 15 日,15 支决赛队伍进入 48 小时真机攻坚。他们在松灵 COBOT MAGIC 平台上部署模型,利用统一预采数据和现场采集的数据继续优化,通过真实任务检验模型的实际表现。经过两天激烈角逐,11 月 16 日,决赛名次正式揭晓! 决赛排名 一等奖由 TARS 战队摘得,队员分别来自福田实验室、西北工业大学、普渡机器人和天津大学。EVA 和 SST 战队获得二等奖,Vida、FDU-SONIC 和 ai-robot 战队获得三等奖。 一等奖 TARS 站队,将获得 80,000 元奖金,以及由 AMD 赞助的 Radeon RX 9070 XT OC 海外版 Ultra 16GB 显卡、奥比中光赞助的 Gemini 335L 深度相机、辉羲智能赞助的 Huixi Embodied 开发者套件和由魔搭社区赞助的 5,000 魔粒值及 500 小时 Notebook GPU 一个值得记下的细节是,由技术专家、投资机构和媒体组成的观察团,把特别奖投给了同样的三支队伍。技术分和产业判断,也在这里完美重合了。 同样的具身大模型,交到不同的开发者手中,究竟还能被改造成什么样?这场极限真机竞逐给出了不少具体答案。 真机实测 既考选手也考模型 决赛给 15 支队伍出了同一组真机考题:机械臂要从一堆果蔬中找出指定目标,准确放进对应颜色的盘子;还要把化妆品逐一收进透明收纳盒的指定层位;最后机械臂配合将桌面垃圾扫进簸箕,再倒入垃圾篓。 48 小时,同一个基座模型、同一份 647 条基础数据,15 支队伍给出了不同解法。LingBot-VLA 2.0 本身具备强大的视觉感知与动作执行能力,为进一步优化数据、视觉和控制策略提供了扎实的能力底座。 一等奖 TARS 战队采取了「分任务攻坚」的思路 。对于水果抓取和化妆品收纳,团队判断本质上是同一类,只要目标看得准,基座模型的抓取能力足够覆盖,「现有的官方数据完全能够满足需求」。于是他们基本没有为前两项任务额外采集数据,直接调用千问识别画面中的干扰物,通过边界框和 CPU 端背景涂抹弱化无关信息,让模型更容易锁定目标。 省下来的数据采集精力全部集中到了难度最高的垃圾清扫任务。官方约 210 条示范数据主要采用正面夹持簸箕把手的方式,接触面积和摩擦力都比较小,稍有偏差就容易翻转,后续清扫动作也很难完成。TARS 改为夹住簸箕后沿,并按照新方案重新采集任务数据。 如果说 TARS 解决的是机器人抓得更稳, 二等奖 EVA 战队则把重点放在了如何让模型从失败中学习 。他们发现使用官方数据训练,模型初期成功率只有约 10%。EVA 随后建立数据回流流程:先让机器人自主执行任务,再由大模型辅助评估和筛选轨迹;遇到失败或数据覆盖不足的情况,由人工接管,采集纠正后的轨迹(DAgger),重新加入训练。 这相当于给模型增加了一条持续学习的路径。48 小时内,EVA 完成约 7 轮数据回流,额外采集 700 多条数据,训练数据规模达到 1200 多条。团队还引入 Grounding DINO 和分割标注改善目标定位,并通过深度教师蒸馏补充空间感知监督。经过优化,模型真机成功率从约 10% 提升至约 70%。 另一支二等奖队伍 SST,盯上了模型的视觉定位能力 。他们希望给 VLA 增加一层更明确的视觉提示,为此引入 DeepSeek 识别指令中的目标物体,再用 SAM3 生成分割掩码,将背景亮度压低至原来的 10%,突出操作对象。 另外,针对 SAM3 无法稳定根据文字提示分割目标的问题,团队想出了一个颇有意思的办法:将机器人执行视频倒放,利用目标被抓起后的画面定位其像素位置,再交给 SAM3 沿视频追踪,完成整段视频标注,并用这些数据微调 SAM3。动作执行上,SST 让模型每次预测 50 步,但实际只执行前 16 步,再结合动作平滑机制,根据新观测及时调整。最终,团队仅额外采集了 13 条数据。 开篇提到的 FDU-SONIC 则 从数据覆盖入手 。团队检查官方提供的 647 条数据后,发现部分物体与场景组合的样本并不充分。于是他们补充不同物体和摆放方式的数据,并加入目标识别,持续将新数据混入训练。训练后,团队再通过真机测试观察模型表现,根据实际结果调整后续的数据补充方向。 四支队伍的技术路线对应了具身模型落地时的几类具体难题。 同一颗开源机器人大脑,经过不同团队的调试,拓展出了不同的能力边界 。 48 小时里,这群最会调模型的年轻人,把火力全部对准了数据和物理世界本身。放在两年前这很难想象,那时具身智能的叙事还是「谁的架构更巧」。这场比赛里,选手们用行动投了票:当基座模型可用之后,工程的主战场就转移了。胜负手从模型创新,移交给了数据工程和物理直觉。 算法背景不缺 真机经验仍是短板 报名参赛的 1855 支队伍中,参赛者来自不同高校、研究机构和企业,既有具身智能领域的研究者,也有从自动驾驶、互联网算法跨界而来的工程师,甚至有人此前从未接触过具身智能。 细看这场比赛的报名画像,会发现一个更有行业意味的反差。 51.7% 的选手拥有 VLA 或多模态大模型背景,48% 有深度学习训练经验,31.9% 涉及强化学习。相比之下,有过机器人真机调试经验的选手仅仅占了 20.9%。 FDU_SONIC 战队的队长李新宇就是一个例子,他原本是纯软件方向,过往研究主要围绕 GPU 和仿真环境展开。转向具身智能后,他开始尝试把算法带入物理世界。这次比赛最大的收获,是终于有机会让过去停留在算法和仿真中的想法在真实机器人上接受检验。 从这个角度看,这场比赛有另一种读法:它把 15 台双臂真机、算力集群和 647 条数据打包成公共资源,在 48 小时里,临时填平了一次「真机鸿沟」。 参赛队伍也借此调动起各自的技术和资源。「师兄会帮我调真机的对不队」通过社交平台招募队友,组建背景互补的团队;EVA 通过跨城市远程协作,串联起数据采集、模型训练和结果验证。 不同背景和资源的开发者,从同一个开源模型出发,借助赛事提供的统一真机平台和配套资源,完成了一次实践验证。 物理世界的反馈 仿真给不了 更多开发者能够把模型跑起来,只是第一步。换一台设备、换
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱