Claude后台接管电脑，真·赛博替身！人机并行时代来了

新智元报道 Fable 5.1发布仅24小时，A社又放大招了！ 今天，Anthropic宣布全面升级Claude「计算机使用」能力。 现在扔给它一个任务，Claude就能自己打开软件、点击按钮、输入内容，在多个应用之间来回操作。 最大的变化是，这些操作直接在后台完成。 一个人，一台电脑，两条工作流，终于可以同时跑了。 目前，Computer Use处于Beta测试阶段，已面向Claude Pro和Max订阅用户开放，macOS版首先体验。 这一次，AI终于不再霸占屏幕 Claude「计算机使用」功能，对于每个人来说并不陌生。 早在今年3月，它就随Dispatch一起上线了。 它的工作原理本质上是一个Loop：截图→模型看图→输出坐标→系统去点。 这种让AI接管电脑的方式，体验多少有些尴尬—— 任务是交出去了，鼠标和键盘也跟着一起「上交」。AI每点一次，你的光标就被拽走一次。它干活的几分钟里，人只能在旁边看着。 这一次，在macOS 15及以上系统中，Claude默认通过后台窗口工作，不占用用户正在使用的鼠标和键盘。 你可以继续写文档、回消息，Claude则在另一边打开App、整理文件、测试程序。 如果检测到用户正在输入，Claude还会主动等待。 只有任务必须接管整个屏幕时，它才会在每次会话中首次发起前台操作前征求许可。 Claude操作电脑 背后大揭秘 从Anthropic公开的文档看，Claude的桌面操作，仍然建立在经典的「感知—决策—执行—反馈」循环上。 每执行一步，系统会截取当前窗口画面，将截图交给视觉模型理解。 Claude识别按钮、输入框、菜单和页面状态，随后生成点击坐标、键盘输入或滚动等动作。 桌面端执行动作后，再返回一张新截图。 Claude判断操作是否成功，接着规划下一步。如此循环，直到任务完成，或者遇到需要用户确认的问题。 整个过程可以简化为： 截取屏幕 → 理解界面 → 选择动作 → 执行操作 → 检查结果 这也是GUI智能体，比普通工具调用更难的原因。 API返回的是结构化数据，字段含义固定，屏幕只提供像素。同一个「提交」按钮，可能出现在不同位置、不同尺寸和不同主题中，还可能被弹窗遮住。 只要窗口移动、页面加载变慢，或者某次点击没有生效，后续步骤就可能全部偏离。 这一次的更新，全部覆盖了Cowork和Claude Code场景。 当一个人下达任务后，Claude会采用一套高度优化的三级降级执行架构—— API 连接器（Connectors） ：任务涉及Gmail、谷歌和微软办公全家桶，Claude优先通过底层API交互，数秒完成； 内置浏览器（Browser） ：没有直连API时，Claude接管内置浏览器，在网页端自动化操作； 屏幕交互（Screen Interaction） ：以上两个都不满足时，Claude便会触发终极「计算机使用」能力。 不得不说，在macOS 15环境下，屏幕交互迎来了体验上的质变。 人机并行时代开始了 过去两年，AI智能体一直在学习使用工具。 先是调用搜索和代码解释器，后来接入浏览器、邮箱与办公软件，现在终于开始直接进入操作系统。 Claude这次升级，表面上解决的是「不抢鼠标」，背后争夺的却是桌面操作系统里的第二个工作席位。 当AI能够在后台看屏幕、开软件、跑流程，人类与电脑的关系也在悄悄改变。 以前，一台电脑同一时间基本只服务一个操作者。以后，前台是人，后台是智能体； 用户负责判断、沟通和决策，AI持续处理那些漫长、重复、必须跨应用完成的工作。 从聊天框走向浏览器，再从浏览器进入整台电脑，Claude离真正的「赛博替身」，又近了一步。 参考资料： https://x.com/claudeai/status/2095226833293685100 https://support.claude.com/en/articles/14128542-let-claude-use-your-computer-in-cowork 编辑：桃子 秒追ASI ⭐ 点赞、转发、在看一键三连 ⭐ 点亮星标，锁定新智元极速推送！ 文章原文