智能AI
evening
破局机器人长任务难题!港中深联合A* STAR等团队提出LOGIV,以Gragh Engineering迈向可靠具身智能
摘要
在机器人操作研究中,视觉语言动作模型(Vision-Language-Action,VLA)与世界动作模型(World Action Model,WAM)为机器人提供了不同的动作生成路径。但当任务从一次抓放延伸到连续搭建与双臂协同,决定成败的就不只是眼前这个动作能否完成,还包括此前建立的条件能否一直支撑后续执行。 一个动作明明已经成功,为什么整项任务还是会在下一步失败?机器人真正缺少的,究竟是更强...
WAM
LOGIV
VLA
Graph
Engineering
https
Action
Robot
github
图源为论文
2026-11-12
1 阅读
约10分钟阅读
机器之心
字号:
在机器人操作研究中,视觉语言动作模型(Vision-Language-Action,VLA)与世界动作模型(World Action Model,WAM)为机器人提供了不同的动作生成路径。但当任务从一次抓放延伸到连续搭建与双臂协同,决定成败的就不只是眼前这个动作能否完成,还包括此前建立的条件能否一直支撑后续执行。 一个动作明明已经成功,为什么整项任务还是会在下一步失败?机器人真正缺少的,究竟是更强的动作模型,还是组织这些动作的系统? 围绕这一问题,香港中文大学(深圳)联合新加坡 A*STAR、清华大学等机构的研究团队提出 LOGIV,将 Graph Engineering 引入 Agentic Robot 的执行架构。它在已有 VLA 与 WAM 策略之上构建显式任务图,把动作之间的条件依赖和资源顺序转化为可以检查、追踪与修复的执行依据。 LOGIV 将系统的关注点从某个动作是否完成,推进到后续计划是否仍然成立。通过图依赖验证与因果局部修复,机器人可以在发现条件失效后恢复必要支撑,保留仍可使用的计划,再继续向目标推进。无需为这一层增加新的可训练组件,任务图就能真正参与机器人的执行决策。 论文名称:LOGIV: Graph-Verified Execution with Causal Local Repair for Long-Horizon Robot Tasks 论文全文:https://arxiv.org/abs/2610.40016 项目主页:https://enqiao-lu.github.io/logiv-project/ 代码与演示:https://github.com/Enqiao-Lu/LOGIV 破局长程执行,从动作到依赖 让机器人搭一座积木桥,听起来并不复杂:摆好两侧支撑,拿起横梁,再把横梁放上去。但如果机器人拿起横梁时,不小心碰歪了刚才摆好的支撑呢? 抓取动作成功了,前面的摆放动作也确实完成过,可接下来那一步,已经没有了成立的条件。继续照着计划走,机器人很可能把横梁放在一个已经不存在的支点上。这正是长程物理交互中的一个隐蔽问题。动作完成是一段历史,动作产生的条件却可能随时失效。如果系统只记录任务进度,而不检查这些条件是否仍然成立,过去的成功就可能掩盖当前的风险。 如果把长任务写成一张待办清单,机器人知道的是先做什么、后做什么。如果把它组织成一张任务图,机器人还能追问,下一步到底依赖什么,哪个条件一旦失效,后面的哪些动作就不能继续?LOGIV 据此将 Graph Engineering 落到执行层,把任务组织成包含两类依赖的有向无环图。 任务节点:对应抓取、放置等高层子任务,也包括任务的起点和最终目标。 条件支撑边:记录哪个动作建立了后续动作需要的条件,例如支撑块到位之后才能安装横梁。 资源顺序边:记录机械臂、夹爪等资源的使用顺序,以及动作之间已建模的冲突。 这张图既连接规划与动作,也为失败恢复提供依据。支撑块移位后,系统可以沿着失效的条件支撑关系追踪后续影响,而不必把整个任务都当成失败。 图 1:支撑块被碰歪后,LOGIV 恢复失效的支撑条件,并保留仍可使用的后续横梁操作。图源为论文 Fig. 1。 连接 VLA 与 WAM,搭起执行闭环 如果 Graph Engineering 负责组织长任务,底层动作又由谁来完成?LOGIV 给出了清晰的分工。上层根据当前状态和任务依赖选择子任务,将高层动作转成自然语言指令。底层策略结合指令与视觉观测执行操作,再由上层检查动作效果和剩余计划所需的条件。一次动作的结束,会成为下一轮判断的起点。 论文分别搭配三种执行模型,检验这一架构能否跨越不同策略路线。 π0.5 作为 VLA 执行模型,将视觉观测与任务指令映射为机器人动作。 AHA-WAM 与 Light-WAM 作为两种 WAM 执行模型,在各自的策略架构下完成上层指定的操作。 如图 2 所示,LOGIV 在 VLA 与 WAM 之上构建独立的任务组织与恢复层,使不同执行策略能够接入统一的规划、验证与修复闭环,无需将它们重新训练成一个大模型,也不为框架额外引入可训练组件。该架构已在经过任务微调的 π0.5、AHA-WAM 和 Light-WAM 上得到验证,其依赖检查与局部修复机制可以跨策略复用,接入新任务时则需匹配相应的任务模型、感知信息与执行接口。 图 2:LOGIV 位于底层 VLA 或 WAM 策略之上,在动作执行前后检查状态、节点和图依赖,确认失败后进入修复流程。图中的人工协助属于未来评估方向,论文报告的实验未启用人工协助。图源为论文 Fig. 3。 在具体实现上,LOGIV 将图 2 所示的架构落实为任务图构建、在线验证与局部修复三个相互衔接的环节。 1. 任务图构建:将动作序列编译为依赖图 系统首先使用预定义的 PDDL 任务模型描述动作前提、预期效果与可用对象,由 Fast Downward 生成动作序列,再交给独立验证工具 VAL 检查动作参数、前置条件和最终目标,只有通过验证的计划才会被编译成任务图,明确后续动作依赖哪些条件,以及这些条件由哪些动作提供。 2. 在线验证:持续检查动作与支撑条件 进入执行阶段,LOGIV 通过 State Gate、Node Gate 和 Graph Gate 将现场观测与任务图联系起来,其中 State Gate 结合视觉观测、机器人状态和执行器反馈确认当前任务事实,Node Gate 在动作执行前后分别检查前置条件与预期效果,Graph Gate 则进一步核查任务依赖,判断已经完成的动作是否仍为剩余计划提供有效支撑。三者共同构成动作执行前后的验证流程,使系统既能判断当前操作是否成功,也能发现影响后续任务的条件变化。 例如,机器人即使成功抓起横梁,只要此前摆好的支撑块发生移位,Graph Gate 仍会识别出后续安装所需的条件已经失效,并触发修复,而不会仅凭当前动作的成功记录继续执行。对于视觉证据不足、暂时无法确认的状态,系统会通过重新观察或调整视角补充信息,若在观测预算内仍无法确定,就停止执行,避免把不确定的状态误当作满足条件。 3. 局部修复:恢复必要条件,保留有效计划 当确认失败的时候,LOGIV 沿任务图追踪受影响的依赖,并将受到影响的动作与确实需要替换的动作区分开来,尽量保留仍可使用的未完成计划。以搭桥为例,支撑块移位并不意味着安装横梁这一后续步骤本身有问题,因此系统可以保留相关操作,从最终目标出发,沿保留动作的逆序推导恢复执行前必须满足的条件,再根据当前状态生成相应的修复片段。 生成修复片段后,LOGIV 会将其与保留计划合并,通过 VAL 检查完整的后续计划能否在符号模型下达到最终目标,而不是仅确认眼前的失效条件是否得到恢复。如果验证未通过,系统会根据失败位置在当前范围内重新规划,或扩大需要替换的动作范围,待验证通过后再重建任务图并恢复执行,从而把局部问题的处理与完整任务的推进连接起来。 实验结果,多种底层策略都能受益 研究团队在 RoboTwin V2 和 BiCoord 中各选取 10 个双臂任务,共计 20 个任务。每个任务使用 10 个预定义初始状态,并分别评估无人工注入扰动与预定义扰动两种设置。 图
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱