全球首创！AI看一眼视频就能「读出」双手，三个世界第一

新智元报道 【新智元导读】 不教AI认手,而是从视频世界模型里直接「读」出双手:三大基准SOTA,让百万小时野生视频第一次能变成机器人的操作教材。 机器人圈有个老大难问题，卡了所有人好几年： 手部动捕 。 不是捕不了，是一到真实场景就崩——你端碗、拧瓶盖、从口袋掏手机，手一被挡住，最先进的检测器直接报废，后面的姿态重建全盘歇菜。 全世界最聪明的一群人，在这个问题上加检测器、加时序模块、加运动先验、加测试时优化……补丁摞补丁，还是扛不住遮挡。 结果，我们把视频生成模型换了个打开方式，顺手把这事儿办了。 近日， 大晓 机器人 联合南洋理工大学与上海交大发布ACE-ViDiHand—— 全球首个用视频生成模型做4D手部动捕的方法 。 在ARCTIC、HOT3D、HOI4D三大基准上，ARCTIC和HOT3D全部九项指标第一，HOI4D九项中八项第一。 最炸裂的一个数字： 手被东西挡得严严实实的场景下，ACE-ViDiHand的帧准确率0.997，此前最强的WiLoR只有0.919。 什么概念？同样跑1000帧视频，WiLoR丢了81帧，ACE-ViDiHand只丢3帧——几乎一只手都不落。 这意味着，大规模、高质量的人手视频自动标注，第一次真正成为可能。 论文标题《The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction》——带了个「Surprising」，应该是连作者自己都觉得效果好得离谱。该项目将于近期全面开源。 论文链接：https://arxiv.org/abs/2606.30308 项目主页：https://ACE-ViDiHand.github.io 同期工作Vision Banana刚刚证明：把图像生成模型拿来做视觉理解，效果比专门训练的判别式模型还强——会画画的AI，天然就会认东西。 ACE-ViDiHand把同样的逻辑从图像推到视频、从2D推到4D： 会生成视频的 AI ，天然就懂手怎么动。 手部动捕为什么这么难？ 手部动捕不只是个「挺难的技术问题」，它是具身智能的 命门 。 手部运动是人类操作意图最直接的表达。 抓、放、倒、拧、叠——每个灵巧操作的任务意图、动作过程、物体状态变化，全写在手部轨迹里。 机器人要从人类视频里学操作，手部轨迹就是最核心的监督信号。这份「教材」的质量，直接决定了机器人策略学习能到什么水平。 但这也是最难自动提取的数据。 两个字： 遮挡 。 你端碗吃饭，手被碗挡住大半；你拧瓶盖，十根手指叠成一团；你从包里掏手机，整只手消失。 人看一眼就知道手在干什么，机器不行。 目前主流两条路。 图像路线（HaMeR、WiLoR、Hamba等）， 检测器先框手、再估姿态，手一被挡就全崩。 视频路线（OmniHands、Dyn-HaMR等）， 靠跨帧注意力和运动先验从前后帧里找补，但时序模块是拿稀缺的手部标注数据训出来的，认手都勉强，「猜」被挡住的部分根本学不会。 而且运动先验只建模了手本身，跟物体、场景完全脱钩——手伸进抽屉那一刻，先验和现实就对不上了。 两条路都是死胡同。卡了这么多年，不是没人使劲，是方向不对——所有人都在「手」上做文章，没人想过换个出发点。 会画手的AI，不用再教它认手 这个逻辑很符合直觉，视频生成模型天天看互联网上的海量视频，它早就学会「脑补」被挡住的手了——只是此前没人从「手」的角度去挖掘。 想想Wan2.1这样的视频生成模型——要生成一段让人看不出破绽的视频，它 必须 在内部搞定三件事： 时空一致性 —— 前一帧手在这里，后一帧不能瞬移到那里； 从2D推3D —— 手的透视、大小变化都得合理，这就得「理解」三维几何； 推理被遮挡的内容 —— 手被杯子挡住了，但视频里的下一秒手又出来了，中间那段模型必须知道手还在那、在干什么。 这三样能力，恰恰是手部动捕这些年求而不得的东西—— 一个13亿参数的视频大模型在海量互联网视频上自然涌现出来的「世界先验」。 所以ACE-ViDiHand的思路是： 不从零教AI认手，而是把手部姿态估计重新定义成—— 从视频世界模型里「读取」表征 。 打个比方：一个画了十年画的人，他闭着眼都知道手怎么摆、怎么动。你不用再教他认手，只需要一支笔，让他把脑子里那只手直接画出来。 ACE-ViDiHand做的，就是递上这支笔。 怎么做到的？两步走 具体分两个阶段，可以概括为： 先教模型「画手」，再从它脑子里「读手」。 第一步，教它盯手。 让模型在原始视频每一帧上叠加一层半透明的手部渲染——包括手被完全遮挡的帧。 想让叠加连贯不穿帮，模型就必须在内部时刻维护每只手的3D状态，哪怕画面上根本看不见手。 这相当于逼模型在遮挡下持续「追踪」手，而不是简单补全可见像素。 训练分两步：先在大规模EgoDex数据上做关节骨架叠加打底，再切到MANO网格叠加做精对齐，全程不损失基座模型对场景和物体的理解能力。 第二步，读出来「手」。 从DiT第15层（30层正中间）、去噪到约70%时的特征里，用双分支解码器直接读出手部姿态。 为什么是这一层？消融实验的答案很符合直觉： 太浅还在盯像素，太深已经在想怎么「画」了，L15、τ≈0.7正好卡在「理解最深」的甜蜜点。 两条分支各管一摊——一条整合手的全局信息输出关节姿态，因为手指弯曲是牵一发动全身的事；一条逐关节定位输出2D坐标，因为「手指在画面哪」是个局部问题。 两条分支互相交换情报后，深度靠回归、平面位移靠闭式求解，一步出结果。 整条管线直接吃全帧视频—— 不用检测器、不用裁剪、不用运动补全、不用测试时优化 ，单次前向同时输出双手4D轨迹。 跑分有多猛？ 三大基准恰好覆盖手部动捕最典型的三类噩梦场景： ARCTIC——重度遮挡双手操作。 双手操作铰接物体，手指、手掌、物体搅在一起。 关节误差 PA- MPJPE -p 降到 9.8mm ，8个基线里最好的也要 11.9mm ；2D端点误差 EPE-p 只有12.4像素，最好的基线50.5像素—— 直降4倍 。 手部召回率和F1（综合衡量「有没有找到手」「找得准不准」的检测得分）均达到99.9%，帧级准确率99.7%，帧级错误率相比最强基线下降超过96%——即使在严重遮挡下也几乎不丢手。 抖动3.18，此前最平滑的方法12. 8 ——低了近4倍。而且人家的平滑是靠外挂运动补全模块和SLAM优化硬磨出来的，ACE-ViDiHand天生就这么稳，零后处理。 HOT3D——鱼眼畸变 + 高动态光照。 广角鱼眼镜头、忽明忽暗的光线、快速甩头甩手，每一样都是检测器的噩梦。 F1（综合检测得分）达到0.983，全面第一；3D关节误差PA-MPJPE -p 较此前最佳结果降低43%。 HOI4D——训练时完全没见过的数据集。 纯泛化测试，所有对比方法同样没在这上面训练，双向公平。 9项指标拿下8项第一。抖动4.0，第二名17. 4 —— 约为其四分之一 。EPE -p 从第二名的4 1.6 像素降到24.5像素。 这说明ACE-ViDiHand的优势不是靠「刷题」刷出来的，是底层表征够硬，换个场景照样能打。 总体来看，三个数据集上的轨迹抖动较此前最佳