微软表示人工智能代理就像内部威胁，因为“前沿模型不可信”

微软周一推出了新的安全功能，旨在保护企业免受人工智能代理日益增长的威胁。此次发布之际，微软继续警告企业有关人工智能和代理的危险。也许最值得注意的新增功能是 Guardian Agents，这是一项旨在监控公司使用的人工智能代理的新功能。 Guardian Agents 是 Project Perception 的一部分，该产品于 6 月推出。 Project Perception 是微软对 Anthropic 的 Mythos 和 Fable 以及 OpenAI 的安全漏洞扫描系统 Daybreak 等强大黑客模型的回应。 Project Perception 最初推出了三类代理：像黑客一样进行攻击的“红队”，检测红队并评估他们发现的漏洞的“蓝队”，以及负责修复这些漏洞的“绿队”。该产品的设计假设人工智能黑客来自公司外部。但最近，微软首席执行官萨蒂亚·纳德拉 (Satya Nadella) 警告称，人工智能的敌人可能正是企业部署并付费的代理，就像流氓员工一样，也称为“内部威胁”。本月早些时候，纳德拉在他的私人博客中警告说，是时候停止信任人工智能模型提供商了，即使他们通过代理产品提供安全保障。他希望企业实施不受人工智能实验室控制的独立系统，以监视和控制这些人工智能实验室产品启动的代理。 “我们正在部署这些复杂的代理系统和模型，可以访问我们最敏感的数据，并让他们能够代表我们采取关键任务行动！”他写道。 “我们根本不能将情报代表我们所做的事情的责任外包出去。模型提供者的保证并不能免除我们的责任。……换句话说，我们需要将情报的提供与情报的权威分开。”在宣布 Guardian Agents 时，微软安全业务负责人 Hayete Gallot 的说法更加直白。 “不幸的是，前沿模型，无论其来源如何，都不能被信任，”她写道，并补充说，这并不是因为它们是恶意的或容易被黑客攻击，而是因为它们是不可预测的。他们接受的培训是为了完成任务，而不是遵循“组织规范或判断”。最重要的是，他们经常获得王国的钥匙，可以访问可能造成严重危害的数据和工具。微软的解决方案既令人惊讶又自私。令人惊讶的是，众所周知，微软与 OpenAI 和 Anthropic 关系密切，对这两家公司都进行了投资。 OpenAI也是其最大的云客户之一，微软拥有自己的AI实验室开发模型。因此，微软正在对其自身的一些商业利益播撒不信任的种子。自私的一面是，微软希望企业从它这个云提供商那里购买代理安全产品，而不是从 Anthropic 和 OpenAI 那里购买。但撇开利益冲突不谈，其逻辑是合理的。监控代理行为的软件应该与代理的供应商分开，就像审计员应该独立于他们审计的组织一样。或者正如纳德拉所说：“我们需要将情报的提供与情报的权威分开。”微软现在正在通过多种方式抓住这一商机。除了 Guardian Agents 之外，它还在其 Microsoft Defender 产品中添加了代理检测功能，可以发现员工带入工作场所的多达 60 种代理，包括 Claude Code、Codex 和 OpenClaw。它还添加了限制代理对数据和系统的访问的功能，并根据任务动态调整代理权限。这包括如果代理似乎正在做出危险的决定，则需要人工批准。这种认为代理人是不值得信任的内部人士的想法也在更广泛的行业中盛行。微软是 Nvidia 全新开放代理安全平台的首批成员，该平台获得了 100 多家其他科技公司的支持。该平台将代理隔离在安全环境中，并可以通过硬件监视和停止行为，其功能类似于终止开关。此前，微软宣布推出专为特工打造的新款 Surface Laptop Ultra PC，该电脑在 Nvidia 芯片上运行，并内置了特工安全性和控制功能。