Anthropic 让 METR 研究人员通过员工级别的访问权限了解幕后情况

Anthropic 在周四的一篇博客文章中表示，该公司正在为来自 METR（一家测试前沿人工智能模型的非营利组织）的六名研究人员提供员工级别的访问权限，以独立评估 Anthropic 的模型、安全实践和风险管理。这项安排出台之际，自 8 月下旬以来，每隔一两周就会有人工智能代理违反指令行事的事件被披露。这些事件引发了对人工智能公司进行独立检查的呼声。 “我们希望对我们所做的决定公开负责，”Anthropic 在博客文章中表示。 “我们的目标是缩小评估者对前沿人工智能公司系统的理解与公司本身的理解之间的差距。”根据新的安排，METR 团队拥有 Anthropic 发放的公司笔记本电脑、办公空间和内部工具，与 Anthropic 自己的风险评估团队使用的工具大致相同。该公司表示：“鼓励人性化员工与他们分享信息，就像与处理一致性风险的同事分享信息一样。” Anthropic 将这种安排与银行业进行了比较，类似于监管机构在最大的银行内部安置驻地审查员的方式。 METR 将发布自己对 Anthropic 的风险、事件和实践的评估，该公司已放弃阻止这些评估的权利。该公司表示：“Anthropic 不能否决发布，但如果信息属于狭窄的预定义类别，我们可以要求他们编辑信息，例如客户数据、任何律师-客户特权或与其模型架构相关的信息。” Anthropic 补充道：“METR 可以自由地公开描述我们的修订内容，并说明它是否认为这些修订是合理的，只要它这样做时不透露修订的信息。” VIDEO METR 是迄今为止位于 Anthropic 正在构建的三层系统顶部的唯一评估器。底层的评估者，如生物安全非营利组织 SecureBio，进行狭隘的审查，并需要 Anthropic 的批准才能发布。中间层获得更多信息，无需批准即可发布，而顶层则增加了 METR 的员工级别访问权限。周四的声明兑现了 Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 在 9 月份的一篇文章中做出的承诺，他在文章中提议在人工智能实验室中嵌入外部评估人员，作为减缓技术发展的第一步。 OpenAI 很快做出了同样的承诺，两家公司以及谷歌、Meta、Nvidia 和 xAI 此后签署了一份白宫协议，承诺进行独立审查。