「假电脑」教AI用电脑，出的题连GPT-6 Astra都做不对

你是否也好奇 GPT-6 Astra 惊人的 computer-use agent (CUA) 电脑使用能力如何训练得到？ 来自微软研究院 (Microsfot Research), 北卡罗来纳大学教堂山分校 (UNC-Chapel Hill), 佐治亚理工大学 (Gatech), 和美国东北大学 (Northeastern University) 的研究者提出了最新研究成果 WildAWM。 论文标题：Agent World Model in the Wild: Computer-Use Agent Environment Synthesis arXiv 链接：https://arxiv.org/abs/2610.26828 项目主页：https://msr-orchard.github.io/WildAWM/ 开源代码：https://github.com/MSR-Orchard/WildAWM 开源环境、任务与模型：https://huggingface.co/collections/ChilleD/agent-world-model-in-the-wild 想让 agent 学会用电脑，最简单直接的办法就是让它在电脑环境中进行交互、训练，可是一方面真电脑环境成本高、很难大规模铺开，而且可能会引入安全风险，比如 OpenAI 最近披露了一起 agent 在线环境中学习却意外地攻击了 huggingface 服务器的事件。 WildAWM 使用合成的个人电脑环境（有 shell，有文件系统，有浏览器，有常见的应用 MCP 服务比如 email）来作为现实训练环境的替代。而且，为了避免间接蒸馏私有模型的嫌疑，WildAWM 完全使用开源模型进行合成。合成环境后，再在里面合成高质量的 agent 任务、对应的 verifier 验证器，来组成 {environment, task, verifeir} 训练样本，只在这些合成的环境中训练两个 Qwen 模型（Qwen3.6-35b-a3b 和 Qwen3.5-4b)，却在 8 个横跨 web agent, claw agent 和 GUI computer-use agent OOD 常见评测榜单上全部有提升。 从 Agent World Model (AWM) 到 WildAWM 最近，前沿实验室已经展现了 RL 对于 agent 的性能提升有巨大的帮助。agent 要在交互里学，需要和环境进行交互。拿真实系统交互并不现实：环境没法大批量复制，状态也很难重置，agent 一旦点错，删掉的文件、发出去的邮件都是真的，还可能带来安全隐患。 今年 2 月，研究团队发布了 Agent World Model（AWM，ICML 2026）。区别于 world model 往往使用神经网络模拟环境、预测下一个 state（作为环境），AWM 用代码和数据库合成可执行、可交互的环境，一共生成了 1000 个，覆盖各种日常场景，专门用来给多轮调用工具的 agent 做强化学习。只在这些合成环境里训练，模型在三个 OOD benchmarks 上都有不错的分布外泛化。 WildAWM 是这个系列的新工作，这次面向通用的计算机使用 agent（computer-use agent，CUA），不再一个个地合成工具环境，而是直接合成一整台个人电脑。 合成一整台电脑环境 真正的 computer-use agent 应该是 agent 可以访问这台电脑的任何界面，而不局限于一种界面，agent 可以使用 CLI 就像 coding model 一样用代码高效完成任务，也可以使用 GUI，操纵鼠标、键盘访问图形界面网页，也可以接入 MCP service 发现便捷的软件 services（比如 email）。 网站、应用、MCP 服务和本地文件都在一台机器上，状态也连在一起。已有的合成方法大多做的是每个应用各自是一个孤立的环境，比如专门合成 terminal 环境的，比如专门合成网页环境的等等。 WildAWM 的每个环境都是某一个人的电脑。合成从一个虚构人物开始：先定下这个人的职业、联系人、常去的网站和手头在忙的几件事，再把这些事排成一天一天的计划。接着，使用一个 coding agent（GLM-5.2 加 OpenCode）按天把计划落到环境里，往数据库里写记录，往文件夹里放文件，每一天都接着前一天的状态往下做，自然数据也会一天天合成得越来越多。注意这些网页，应用，数据全部是合成的，全部在本地，不需要联网。 图 1: WildAWM 合成世界，包含 GUI web，MCP，CLI 三种 agent 常见的 computer-use 接口 为了让这个世界前后一致，每一天的状态都要独立重放两次，两次结果完全一样，所有服务和网站也都正常，才会留下来。还会启动另一个 agent 核对当天的数据和计划对不对得上。整个过程合成了 36 个人物、640 个世界状态。到最后一天，一个世界里平均有 17 万多条数据库记录和 50 个左右的本地文件，复杂程度超过同期的合成环境类工作。 高质量的合成 Task 是另一个难题 环境有了，接下来要在里面出题 Task。 WildAWM 合成的 Task 叫跨界面（cross-agent-interface, XAI）任务，每道题都必须用到 GUI、MCP 和 CLI 三种接口。 比如一道题：Jordan 要在 2 月 21 日跑半马，想在比赛前再确认一下跑表买哪块。训练笔记里记着几块备选的 GPS 手表，之前已经 “定下” 了一块，但 Jordan 想按比赛要用的标准，也就是 GPS 精度、屏幕看不看得清和预算，重新排一遍。agent 得先写个 python 脚本，从笔记里把候选表找出来排好序，存成文件。接着登录 Amazon，这时搜出来的手表可能不止一款，题目没给型号，只描述了外观（黑色圆形表壳，深色表带内侧有浅灰纹路），得看商品图来挑。加进购物车以后，还要往本地日志里补一条带日期的记录，写明选了哪块表、多少钱，最后在聊天应用里告诉好朋友 Naomi 选了哪一块。完成这个任务需要横跨多种 agent 界面，充分使用合成的环境。 这些任务平均包含 4.2 个子任务，要切换 3.1 次接口，74.5% 的任务做到中途还要回到之前用过的接口，有的需要超过 100 多步，是 long-horizon agent 任务。 图 2: agent 完成合成的任务需要横跨多种 computer-use 接口：CLI, GUI, 和 MCP 那么，怎样才能合成这样的高质量 task 呢？尤其是在不依赖任何闭源前沿模型的情况下，如何解决： 任务有效性 （Task Solvability），确保合成的任务是可以正常被完成的； 任务难度（Task Difficulty），确保合成的任务是有足够的难度的，毕竟市面上大多数的 benchmarks 都已经饱和，我们必须要合成足够难度的任务，比如难倒 GPT-6 Astra 的任务 任务验证器的可靠性（Verifier Reliability），合成的 task 都有一个验证器，用于自动判定 agent 是否完成