GroundGUI：通过高质量数据和蒸馏强化学习为 GUI 打下基础

arXiv:2610.19100v1 公告类型：新 摘要：构建强大的 GUI 代理依赖于多模式视觉基础：将自然语言意图精确映射到可操作的屏幕组件的能力。尽管有丰富的桌面、网络和移动基准测试，但针对不同环境量身定制的高保真资源却出奇地稀缺。为了弥补这一差距，我们引入了屏幕引用基础数据集 (ScreenRef)，这是一个综合的 GUI 基础数据集，由 GUI 屏幕截图与自然语言引用表达式以及框或点注释配对组成。 ScreenRef 跨越桌面、Web 和移动领域，包含 586K 屏幕截图和超过 633K 个引用表达式实例，涵盖文本识别、视觉匹配、空间理解和拒绝场景等任务。为了提高模型的基础性能，我们提出了蒸馏到强化学习（D2RL）方法来解决强化学习中监督微调的有限泛化和稀疏奖励问题。利用 ScreenRef，我们通过顺序 SFT 和 D2RL 训练来训练 Qwen3-VL-8B-Instruct，产生 GroundGUI-8B。 GroundGUI-8B 在 ScreenSpot-V2 上达到 95.2%，在 ScreenSpot-Pro 上达到 63.9%，在 OSWorld-G 上达到 65.4%，在 MMBench-GUI L2 上达到 86.8%，在 UI-Vision 上达到 38.3%。在 8B 规模的模型中，它比在开源数据集上训练的模型产生了显着的增益，其性能与在闭源数据上训练的模型相当甚至优于。代码、模型和数据集可在 https://github.com/PrentisAI/GroundGUI 获取。