智能AI
morning
视频体验:通过视听理解学习计算机使用
2026-11-17
1 阅读
约2分钟阅读
Guangzhi Sun, Zhonghao Zhai, Yixuan Li, Chao Zhang
字号:
arXiv:2611.18747v1 公告类型:新 摘要:多模式大语言模型 (LLM) 已经启用了能够感知图形用户界面、推理指令和执行操作的计算机使用代理。然而,现有的从视频演示中学习的方法通常将视频转换为基于屏幕截图的动作轨迹,而不是直接利用其丰富的视听信息。我们引入了 VEX(Video as EXperience),这是一个使用视听理解来统一从外部演示中学习并反映代理自身行为的框架。遵循观看-行动-重看范例,代理从包含视觉演示和口头解释的教程视频中提取程序指导,执行任务,并通过重新观看视频执行来验证其进度。我们使用 video-SALMONN-VEX 实例化 VEX,这是一个基于 video-SALMONN 2 架构、具有 Qwen3.5-9B 主干的 9B 规模视听计算机使用代理。我们进一步介绍了 Action-Grounded Guide Optimization (AGGO),这是一种强化学习方法,可优化下游动作预测的视频衍生指导,并通过超过 24K 的真实教程视频增强 AgentNet、OSWorld 和 CUA-Gym。 OSWorld 和 CUA-Gym 的补充子集上的实验证明了持续的改进,与 OSWorld 上的 Qwen3.5 主干相比,video-SALMONN-VEX 的任务成功率相对提高了 22%。此外,其生成的指南相对 OSWorld 上的 Gemini-3.5-flash 提高了 10%。这些结果凸显了视听理解作为计算机使用代理程序学习和自我验证的统一界面的潜力。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱