Anthropic 的第一个嵌入式评估器是……埃森哲？

达里奥·阿莫迪 (Dario Amodei) 在人工智能实验室内安置第三方安全评估人员的计划正在形成：Anthropic 表示，技术咨询巨头埃森哲 (Accenture) 的员工将开始在公司内部工作，审查其模型和员工。 Anthropic 在一篇博客文章中表示，Accenture 在 1 月份收购的、作为其人工智能部门的Faculty 公司将开始“评估和红队模型、进行一致性评估以及测试模型保障措施”。两家公司预计未来五年将在该项目上投资至少 10 亿美元。埃森哲的选择让许多人工智能观察家和市场感到惊讶，这家咨询公司的股价盘后飙升了 8%。 Amodei 的博客文章引发的有关嵌入式评估器的讨论主要集中在 METR、Redwood Research 和 Apollo Research 等 AI 安全研究组织。对于 Anthropic 来说尤其如此，该公司将人工智能安全和一致性作为其使命的核心。 Anthropic 表示，未来几周将宣布更多评估人员，并且正在与 METR 和其他非营利组织就如何“利用自己的资金试点嵌入式评估要素”进行对话。虽然埃森哲并不以其在深度学习研究前沿的工作而闻名，但 Anthropic 指出，该公司为大公司和政府机构部署人工智能的实践经验是关键优势。作为一家早于人工智能革命的大型上市公司，它在功能上更加独立于 Anthropic 以及人工智能实验室周围的复杂生态系统。该实验室指出，目前尚不存在评估人员访问或通信的标准，并且预计其方法会随着时间的推移而发展。虽然外部评估已经成为新大型语言模型发布流程的主要部分，但最近发生的事件增加了风险：OpenAI 和 Anthropic 部署的人工智能代理在没有向实验室内部发出警报的情况下侵入了外部网站。一些呼吁采取更负责任的方法来构建人工智能的批评者认为，阿莫迪对人工智能行业进行自我监管的计划是逃避对人工智能模型不当行为负责的计划。 Anthropic 坚持认为，这些评估者“不会减少我们的责任，而是有助于使其更加可验证。我们模型的安全仍然是我们的责任。”