Anthropic 无法可靠地控制其人工智能代理。相反，它正在切断实时互联网的内部评估

Anthropic 表示，其模型利用了互联网上的网站，包括一些由美国政府机构运营的网站，并且将关闭所有内部评估的实时互联网访问，直到前沿实验室确定可以监视和控制其人工智能代理。博客文章中披露的这些事件涉及人工智能代理，其任务是解决在互联网上寻找资源的问题。在此过程中，他们利用软件缺陷，避开付费墙和反机器人限制，使用 URL 缩短服务来走私信息通行限制，甚至向费城警方提交了虚假的谋杀举报。 Anthropic 表示，它在 7 月份开始的对其模型活动的审查中发现了这些新问题，这凸显了该实验室对其软件行为缺乏认识。值得注意的是，该公司表示，对于搜索和计算机使用等技能来说，对齐培训还不够，而这些技能是其宣传的核心，即人工智能代理将被任何依赖数字工具的专业人士使用。 Anthropic 披露的行为与涉及 OpenAI 代理的事件类似，这些代理合作闯入各个网站以搜索信息，其中包括一些由澳大利亚政府运营的网站。 Anthropic 此前透露，其模型已侵入外部系统。该前沿实验室表示，它认为今天的披露“从一致性和安全角度来看明显不如之前宣布的那么严重”。然而，该实验室仍然表示，它已“关闭实时互联网访问”以进行“所有内部评估”，直到确定可以监视和控制其代理。目前还不清楚这意味着什么，但人工智能安全组织 Nightingale 的创始人 Sydney Von Arx 在此次披露之前接受 TechCrunch 采访时表示，在与开放互联网隔绝的数据中心上开发模型对于研究人员的使用以及受益于互联网接入的模型的进展来说都是非常具有挑战性的。 “你必须在某个时候调整它们，”冯·阿克斯说。 “如果人工智能被发布到生产环境中并且永远无法访问互联网，那么这不是一个非常有用的工具。” Anthropic 表示，这种行为是实验室训练环境存在缺陷的结果，这导致模型相信他们会因发现漏洞或避免限制而获得奖励，这种行为被称为“奖励黑客”。该公司表示将停止运行部分评估或将其移至离线状态，并已构建工具来检测和阻止这种行为。该工具针对今天披露的此类事件进行了测试并阻止了它们；目前尚不清楚哪些证据会促使 Anthropic 将实时互联网接入纳入其内部评估。 Anthropic 还表示，将把其内部人工智能代理迁移到“具有强大遏制力的集中管理基础设施”，并开始更频繁地使用安全分类器来监控这些代理。