首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

将语言带回操作:通过参数合并恢复 VLA 模型中的 VLM 功能

2026-11-17 1 阅读 约1分钟阅读 Mohamed Salim Aissi, Olivier Sigaud, Laure Soulier, Nicolas Thome
分享:
字号:
arXiv:2611.18891v1 公告类型:新 摘要:视觉语言动作模型(VLA)是通过在机器人演示数据上微调预训练的视觉语言模型(VLM)获得的,从而能够根据视觉观察和语言指令进行动作预测。然而,这种微调会导致灾难性的遗忘,从而大大降低原始 VLM 的语义和视觉基础能力。我们通过合并 VLM 及其 VLA 导数的参数来解决这个问题,而无需重新训练任一模型。具体来说,我们提取任务向量(VLA 和 VLM 权重之间的差异)并通过奇异值分解对其进行分解。对于每个组件,我们学习一个标量混合系数,控制保留多少 VLA 适应,并进行优化以共同保留动作预测和视觉语言功能。实验表明,我们的合并模型同时在两个轴上表现良好,始终优于已建立的合并基线。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱