首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs

2026-11-18 1 阅读 约9分钟阅读 林, 方舟
分享:
字号:
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs 林, 方舟 2026-11-17 10:03:22 来源: 量子位 诺亚 发自 凹非寺 量子位 | 公众号QbitAI 强化学习环境(RL Envs) 正在成为一门新生意。 随着大模型走向工具调用、软件操作和多步骤任务,模型训练的方式也在发生变化。模型不再只是从已有的数据和答案中学习,还需要进入具体任务,执行动作、观察结果,再根据反馈不断调整策略。 对模型团队来说,算法决定模型如何学习,而环境决定模型能够练习什么、可以尝试多少次,以及如何判断一次尝试是否有效。 能否找到足够多、足够真实、结果可判定的任务,正在成为后训练的一部分重要工作。 这块需求有多热,市场已经给出答案。Mercor、Surge AI、Handshake……过去一年,围绕大模型训练和后训练,一批新公司和新业务迅速进入硅谷视野。 11月10日,Mercor宣布完成7.5亿美元D轮融资,估值200亿美元。这家公司运营着超过500万人的专家网络,为前沿实验室和企业供应评测与后训练数据。今年早些时候,Mercor还收购了Deeptune——一支花费两年时间把数百个企业应用重建为训练环境的团队。 Surge AI则展示了任务环境与模型训练之间的联系。这家公司围绕文档、电子表格、网页调研、规划和工具调用等长程办公任务构建RL环境,并用Qwen3.5-122B-A10B做后训练,模型随后在从未见过的SWE-Bench Pro上提升了5.7个百分点。 Handshake AI的重心在专家与场景,为前沿实验室提供专家数据、RL环境和评分器,覆盖金融、生命科学、对齐等方向。据《时代》杂志援引其CEO的说法,这项业务上线约一年,年化收入达到10亿美元。 这些公司的业务形态并不完全相同,有的侧重专业任务,有的提供训练环境,有的将专家经验、环境构建和评测结合起来。 但它们指向了同一个变化: 模型后训练所需的核心供给,已经从算法和算力,扩展到训练数据和环境 ——“做什么任务、在哪里练、如何判定结果”。 随着模型开始承担长程任务,环境的作用越来越具体:它决定模型能练习哪些工作、动作会带来什么结果、训练能否持续迭代。 当这些环境还在数字世界时,模型操作软件、修改文件、运行代码,动作造成的变化通常能被记录,也比较容易判断结果。 而当模型要从屏幕走向物理世界,训练环境从数字任务延伸到物理交互,无疑会更加复杂。 GPT-6 Astra,机器人的“GPT-3时刻”:大模型开始进入物理AI 大模型能力的进步,正在改变机器人研发的想象空间。 9月3日,OpenAI发布GPT-6 Astra,定位是电脑操作与编程的前沿模型。 一个月内,第三方评测陆续出炉:在RoboDojo的42个仿真任务上,Astra不做任何机器人专项微调,平均成功率22.48%,超过榜单上全部40个经过训练的机器人策略。 投资人Freda Duan在X上发帖,称Astra是“机器人领域的GPT-3时刻”;前OpenAI研究员Will Depue的说法更直接:专用模型被“苦涩教训”了。 当然,OpenAI官方从未公布机器人跑分,真机测试也呈现明显的长短板:把方块放进碗里,20次成功19次;换到精密插销任务,20次只成功2次。 讨论指向的变化是实在的:通用模型在推理、工具使用和多步骤任务上的进展,让“基础大模型直接进入物理世界”从愿景变成了现实。 而从数字世界到物理世界,强化学习训练要面对另一种反馈。 数字环境里,软件智能体的动作改变文件、网页或程序状态,结果通常明确;但机器人的动作则牵动物体的位置、姿态和接触状态,一次接触的位置、力度和结果,也会影响后续的操作。所以,除了理解指令和规划流程,机器人必须在交互中不断调整动作。 这也意味着 ,物理AI需要的RL Envs不是数字环境的简单复刻,它要承载具体工作任务,让机器人在不同初始状态下反复行动,并让关键物体对策略动作作出可信响应。 训练场地的选择随之收窄。真机试错受设备、任务重置和现场条件限制,很难规模化;仿真可以提供可重复的训练条件,但前提是环境能承载具体任务、对策略动作持续给出反馈。 构建物理真实的RL Envs,由此成为基础大模型进入物理世界的必经之路。 复杂、多阶段的长程任务,RL Envs怎样教机器人干活? 在CoRL2026期间,光轮智能发布RoboFinals RL Environments(以下简称:RoboFinals RL Envs),面向机器人模型提供可交互的强化学习仿真环境。 不同于传统的围绕单一动作设计的训练场景,RoboFinals RL Envs以真实工作任务为导向,首发展示了时长超过8分钟的长程仿真任务——汽车修理长程工作。 这个任务将灵巧手操作、工具使用、多阶段流程和柔性物体交互组织在同一个工作场景中,涉及软管、线缆、密封垫等不同类型的物体。 它所呈现的复杂度,不仅在于单个动作本身的精细程度,更在于多种物理交互如何在同一任务链条中发生耦合关联。 第一,灵巧操作:自由度和接触点成倍增加。 多数机器人操作任务使用平行夹爪,只有开合一个自由度。灵巧手通常有十几到二十多个自由度,每根手指独立运动。 对策略来说,动作空间的维度大幅上升;对仿真来说,手指与物体之间同时存在多个接触点,每个点的受力都需要求解。如果接触算不准,物体就会滑脱或穿透,策略学到的抓握方式在真实世界里无法成立。 第二,长程任务:误差随着时间累积。 此前机器人强化学习环境中,常见的任务设计是抓取、放置等相对独立的动作。 例如Pick-and-Place,机器人需要完成物体抓取并放置到指定位置。但实际工作环境通常对应多段动作组合而来的任务,机器人要进入真实工作,必然要进入长程任务的训练。 任务越长,训练也越难。早期动作的影响很久之后才显现,每一步的小偏差还会不断叠加。 这是长程任务与多个独立任务简单拼接之间的重要区别。 常见的做法是把长任务拆成几段,每段从人工设定的初始状态开始。这降低了难度,但也去掉了真实工作的一个关键条件:机器人无法真正承接前一步操作造成的状态变化。 RoboFinals RL Envs的任务中,前后阶段相互关联。前一步造成的物体位置、姿态和接触状态变化会延续到后续步骤,策略必须学会在不完美的中间状态上继续完成任务。 第三,可变形物体交互:状态难描述,参数难确定。 软管、线缆、密封垫是可变形柔体,仿真时要离散成大量节点逐一计算,计算量和数值稳定性的压力都远高于刚体。 它们的行为还取决于刚度、阻尼、摩擦等参数。参数稍有偏差,仿真中的柔体表现就可能过软、过硬,或出现真实世界中不存在的抖动。而柔体交互后的形状响应,会直接影响后续的任务过程。 灵巧手的手指需要与物体发生接触,工具操作涉及精细的位置和姿态控制,软管受到牵拉时会产生弯曲和摆动,密封垫受压则会发生形变。 这些对象具有不同的物理属性和交互方式。单独呈现其中一种物体的运动并不困难,难点
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱