智能AI
morning
NeurIPS 2026 | F2G-Pose:一次前向预测物体位姿、尺寸与完整形状
2026-11-22
1 阅读
约10分钟阅读
机器之心
字号:
机器人想要拿起桌上的杯子,首先需要知道什么? 识别出「这是一个杯子」,显然还不够。它还需要判断杯子在哪里、朝向如何、实际有多大,才能为后续抓取和操作提供可靠的空间信息。 对于人类,这些判断往往不需要刻意思考。但对于机器人,尤其是面对从未见过的物体实例时,问题远没有那么简单:物体可能被部分遮挡,深度相机只能看到有限的表面,同一类别下的物体也可能有着截然不同的形状。 这正是 类别级 6D 物体位姿估计(Category-Level 6D Pose Estimation) 希望解决的问题:不依赖每个物体专属的 CAD 模型或参考图像,仅从视觉观测中直接推断物体的三维位置和旋转方向。 近日,来自 复旦大学与上海创智学院 的研究团队提出了 F2G-Pose(Geometry-Aware Foundation Feature Lifting) ,相关工作已被 NeurIPS 2026 接收。 论文: F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation 会议: NeurIPS 2026 作者: 张晋瑜、林海涛、侯嘉树、薛向阳、付彦伟 研究单位: 复旦大学、上海创智学院 论文链接: https://arxiv.org/abs/2610.31623 项目主页: https://jrryzh.github.io/F2G-Pose/ 代码仓库: https://github.com/jrryzh/F2G-Pose 与需要反复生成候选姿态的方案不同,F2G-Pose 尝试了一条更直接的路线:给定一帧经过目标分割的 RGB-D 观测,通过一次前向传播,同时预测物体的 6D 位姿、真实尺寸,以及相机坐标系下的补全三维形状 。 在 RTX 4090 上,该方法关闭形状补全分支时的模型推理速度达到 28 FPS,并在多个基准测试中取得领先结果。研究团队还将其部署到真实机械臂上,验证了预测结果在机器人操作中的实际价值。 01|位姿估计的难点,不只是找到正确答案 现有类别级位姿估计方法,大致有两条技术路线。 一类方法通过规范坐标、几何对应关系或形状先验,先建立中间表示,再将其转换为物体的最终位姿。这条路线通常具有较好的推理效率,但当物体被遮挡、深度信息缺失或形状变化较大时,中间预测中的误差可能进一步传递到最终结果。 另一类方法则选择显式建模位姿的不确定性。以 GenPose、GenPose++为代表的生成式方法,通过扩散模型采样多个可能的姿态,再经过评分、筛选或聚类,确定最终输出。 这种思路有其合理性:当一个物体只能被观察到一部分时,确实可能存在多个合理的姿态解释。但我们注意到一个值得深入研究的问题: 能够生成准确的候选姿态,并不意味着最终一定能够选出准确的结果 。 论文对 GenPose++进行了一项分析。在 ROPE 数据集上,生成 50 个候选姿态后,如果允许使用真实标注,从中挑选旋转误差最小的候选,那么有 79.3%的实例可以达到 5°以内的旋转误差。但在实际使用的候选筛选流程之后,这一比例为 48.3%。换句话说,准确答案可能已经出现在候选集合中,却未必能被最终选中。与此同时,采样数量越多,计算成本通常也越高;减少候选虽然能提高响应速度,却可能影响最终的预测可靠性。 对于需要持续感知、实时执行的机器人来说,这种精度与延迟之间的权衡尤其重要。 由此,团队提出了一个问题: 能否直接学习从 RGB-D 观测到最终位姿的映射,把计算资源用于获得更好的物体表示,而不是生成和筛选大量候选? 动图 1|同帧位姿预测结果和真实标注对比。 02|F2G-Pose:把二维视觉特征带入三维空间 直接回归位姿并不是全新的想法。真正困难的地方在于:如何让网络在只有局部观测的情况下,仍然建立足够可靠的三维物体表示?F2G-Pose 的答案,是让视觉基础模型提供语义与外观线索,让深度点云提供真实的几何约束,再通过统一的网络共同推理。 图 1|F2G-Pose 总体架构:视觉特征提升、局部几何编码、MoE Transformer 与位姿/尺寸/形状预测。 首先,将视觉基础特征提升到三维空间。 模型采用冻结的 RADIOv2.5 视觉编码器,从 RGB 图像中提取密集视觉特征。利用相机内参和对齐的深度信息,可以找到每个三维点对应的图像位置,并将相应的视觉特征附着到点云上。 这样,每个三维点不仅包含空间坐标,还携带了对应区域的视觉信息。 例如,深度信息能够描述物体表面的几何变化,视觉特征则可以补充纹理、部件及语义线索。二者结合,比单纯依赖 RGB 或者深度更有利于理解物体的真实空间状态。 随后,F2G-Pose 利用 DGCNN 提取局部几何结构,将融合后的点云编码为一组物体 Token。 接下来,通过 MoE Transformer 整合物体整体结构。 局部特征可以帮助模型识别表面细节,但位姿估计需要理解整个物体:哪些结构彼此关联,哪些部件能够区分朝向,以及当前观察到的部分如何构成完整物体。 F2G-Pose 使用 Transformer 聚合这些信息,并引入混合专家架构(Mixture-of-Experts,MoE)增强表示能力。 网络设置 8 个专家,每个 Token 动态选择其中 2 个参与计算。这样的设计使模型能够以相对有限的计算开销,为复杂多样的物体几何提供更灵活的建模能力。 最后,不只是预测位姿,还要学习物体的完整形状。 这是 F2G-Pose 设计中另一个重要部分。 在共享的物体表示之上,网络设置了两个并行分支:一个直接预测物体的旋转、平移与真实尺寸;另一个根据已观测到的局部点云,逐步补全物体的三维形状。 形状补全采用由粗到细的方式,最终输出 2048 个三维点,且直接位于相机坐标系中,无需额外执行规范空间到相机空间的对齐。 动图 2|相机坐标系下的形状补全展示。 这不仅提供了一个可供下游模块使用的近似几何输出,更重要的是, 形状补全本身也成为训练位姿估计网络的一种几何监督。 模型不能只凭有限的外观特征猜测物体朝向,还需要学习可见表面与整体三维结构之间的联系。 最终,位姿、尺寸和形状由同一套 RGB-D 表示共同预测,整个推理过程不需要扩散采样、候选聚类或额外的位姿对齐优化。 03|更快,也更准:多项实验验证方法有效性 研究团队首先在 SOPE 合成数据集上训练模型。该数据集覆盖 149 个类别、约 5000 个物体实例。除视觉基础模型原有的预训练外,F2G-Pose 的任务网络仅使用 SOPE 合成数据训练,没有针对后续真实数据集单独进行训练。 在 SOPE 和 ROPE 基准测试中,F2G-Pose 均展现出具有竞争力的结果。 以衡量三维包围盒匹配质量的 IoU50 AUC 为例: SOPE:F2G-Pose 达到 43.7,GenPose++为 31.9。 ROPE:F2G-Pose 达到 27.8,GenPose++为 19.1。 图 3|ROPE 定性结果:RGB 输入、位姿真值、GenPose++、F2G-Pose 与预测形状。 在论文采用的统一推理测试协议下,
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱