智能AI
evening
98年哈工大教授创业,要做人形灵巧操作世界模型
2026-07-12
1 阅读
约9分钟阅读
一水
字号:
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 98年哈工大教授创业,要做人形灵巧操作世界模型 一水 2026-07-12 16:29:46 来源: 量子位 从采集触觉,到对齐触觉,再到使用触觉 允中 发自 凹非寺量子位 | 公众号 QbitAI VLA和世界模型已经把机器人推向“看懂世界”和“预测世界”的阶段。 但只要模型真的进入物理世界,问题很快就会变得更具体: 它拿什么学习这个世界,靠什么把动作做出来,又怎么知道自己到底碰到了什么。 前两个问题,分别指向数据和本体。 第三个问题,指向触觉。 本周,哈工大(深圳)杨朔团队发布了TouchWorld,一个面向灵巧操作的触觉世界模型。 它的核心能力,是让机器人不只预测画面如何变化,也开始预测接触如何发生,并在真实操作中利用触觉反馈修正动作。 TouchWorld不是孤立的一篇论文。此前,杨朔团队已经推出EgoTouch和TouchAnything: EgoTouch解决灵巧操作的触觉数据怎么采; TouchAnything尝试从第一人称视频中恢复触觉,如何做低成本的触觉数据增广。 这三项工作连起来,构成了一条清晰路线: 先采触觉,再恢复/对齐触觉,最后让具身模型真正使用触觉。 沿着这条路线,出生于1998年的年轻教授杨朔创办了 破晓智能(PHANES AI) 。 破晓智能要做的,是融合人类视频数据与触觉感知模态,构建人形机器人全身移动灵巧操作世界模型。 更具体地说,它不是只做一个触觉模型或硬件,而是希望围绕“机器人如何真正学会操作”, 搭建一套从数据、模型到控制的完整能力链。 “破晓”这个名字,也对应了这家公司想解决的问题:在人形机器人走向真实操作之前,触觉数据、触觉世界模型、灵巧手反馈控制、全身移动操作仍然处在技术混沌中。 破晓智能希望从 触觉数据 切入,把这些能力重新串起来,让机器人从“看见世界”,走向 真正“接触世界、操作世界” 。 从Data-Centric AI,到机器人真实数据 杨朔 现任哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博导,也是 破晓智能创始人兼CEO 。 公开信息显示,他26岁获评哈工大(深圳)计算机学院长聘教授、博导,曾获Google Ph.D. Fellowship,入选国家级高层次青年人才、深圳市“高精尖缺”人才、广东省重大人才工程。 △杨朔,破晓智能(PHANES AI)创始人、哈工大(深圳)长聘教授、博导 在研究上,杨朔长期关注多模态大模型、Data-Centric AI、可信AI、计算机视觉与具身智能等方向。 相比直接从“机器人创业”切入,他的路径更像是从一个数据问题一路走到物理世界: 模型到底应该用什么数据学习。到了机器人这里,就变成了机器人到底应该用什么数据学习真实操作。 在传统机器学习里,这个问题更多指向数据质量、数据选择、噪声标签和数据压缩。 到了具身智能,数据不再只是图像、文本和标签,而是人在真实世界中的连续操作过程。 过去一段时间,人类数据正在成为机器人学习复杂操作的重要入口。 NVIDIA EgoScale证明,第一人称人类操作数据在灵巧操作训练中具备Scaling Law;Generalist / Gen-1则进一步显示,大规模人类数据预训练结合少量真机数据后训练,可以显著提升机器人在长程、复杂任务中的成功率。 这两类工作共同指向一个趋势:相比完全依赖真机采集,让机器人先从大规模人类数据中学习动作过程、物体交互和任务结构,再用少量机器人数据完成对齐和适配,是一条更容易规模化的数据路径。 但这条路线仍然缺一层关键信息:触觉。 第一人称视频让机器人看到了人类如何观察世界、接近物体、抓取工具、完成任务。 但人和物体之间真正发生了什么,视频里并不完整。手指压在哪里,力有多大,物体有没有滑,接触是否稳定,这些信息很难只靠图像回答。 破晓智能给出的答案是:光有视觉不够,光有动作轨迹也不够。 机器人还需要触觉,需要理解手和物体接触时发生了什么。 这也是杨朔团队从EgoTouch、TouchAnything走到TouchWorld的原因。 Touch系列:从采集触觉,到对齐触觉,再到使用触觉 从破晓智能的技术图谱看,Touch系列模型不是并列摆放的几篇论文,而是一条 从数据到世界模型、再到全身控制的能力链 。 EgoTouch解决的是触觉数据怎么采。 它把第一人称视频、腕部视角、手部姿态和双手压力图放进同一套采集系统里,让人类操作视频带上接触和压力信息。 团队围绕刚性物体、柔性物体、抓取、抓捏、拧动、工具使用等任务,采集人类在真实操作中的视觉和触觉数据。 △EgoTouch第一人称视觉-触觉数据采集系统 TouchAnything解决的是如何让更多第一人称视频补上触觉。 带触觉的数据始终有限。真正戴上传感器采集的人类操作数据,成本高、规模小,也很难覆盖所有场景。 但互联网上已经有大量第一人称人类操作视频:人怎么拿起水壶、怎么抓球拍、怎么拧瓶盖、怎么使用工具,这些过程都被视觉记录了下来。 问题在于, 这些视频只有画面,没有触觉。 TouchAnything要做的,就是 用EgoTouch这类视觉-触觉对齐数据,训练模型学会从第一人称视频中估计双手接触区域和压力分布。 换句话说,它让模型具备一种从视觉里“恢复触觉”的能力:只看视频,也能推断手指哪里碰到了物体,哪里正在用力,压力大概如何分布。 这一步的价值不只是做一个触觉估计模型,而是把少量带触觉传感器的数据,扩展成更大规模的触觉监督。原本只能看到动作外观的人类视频,有机会被补上一层接触信息,变成更适合机器人学习灵巧操作的数据。 在破晓智能的技术路线里,TouchAnything更像一个数据放大器。 它一边承接EgoTouch采到的人类视觉-触觉数据,一边把触觉监督扩展到更多第一人称视频里。基于这层数据,TouchWorld才能进一步学习如何预测接触、使用接触;HumanWBC也才能把触觉带入全身移动、双臂协同和灵巧手控制。 △TouchAnything多视角触觉预测模型架构。模型输入头戴第一人称视角、左右腕部视角和双手3D姿态,通过多视角视觉特征融合与姿态感知融合,预测双手压力分布图,从而从纯视觉视频中恢复触觉信息 TouchWorld解决的是 触觉如何进入机器人世界模型和操作策略 。 它不是简单给机器人多接入一个触觉输入,而是让触觉进入两个关键环节: 提前预测未来应该形成怎样的接触,并在执行中根据触觉反馈修正动作。 换句话说,机器人不只是预测“下一帧画面会怎样”,也要预测“下一步应该碰成什么样”。 HumanWBC则是这条路线的下一步:基于人类数据训练全身移动灵巧操作控制模型,把感知理解、自主移动、全身控制、双臂协同和灵巧手操作接到同一个系统里。 所谓全身移动灵巧操作(loco-manipulation),不只是让机器人站在桌前完成一个抓取动作,而是让机器人真正从“能看懂”,走向“能走过去、抓起来、做完事”。 所以这条路线不是“做一个触觉模型”,而是 以触觉为核心
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱