Anthropic 正在开发一个系统来证明人工智能模型的身份

根据周二发布的一篇博客文章，Anthropic 正在开发一个开源系统，以验证哪个人工智能模型产生了给定的输出。该系统名为 FlashProve，旨在提供研究人员所说的“可证明的推理”——一种加密证明，本质上是一种数学保证，证明给定的输出来自特定模型。其目的是让用户确认他们收到的答案确实来自他们认为自己正在使用的模型。与让收件人确认消息确实来自其声称的发件人的加密电子邮件签名类似，FlashProve 对于试图将一种模型伪装成另一种模型的冒名顶替者具有强大的功能，即使冒名顶替者是构建和运行该模型的实验室。研究人员特别指出，该系统可用于防止人工智能公司秘密更换更便宜的模型以削减成本，或秘密更换更昂贵的模型以夸大其性能结果。 FlashProve 还可用于验证第三方声称特定任务是由高级模型完成的。研究人员写道：“开发人员可能会声称他们的软件库已通过前沿网络安全模型扫描了漏洞，或者公司可能会声称其商业计划得到了适当模型的批准。” “用户如何验证这些说法？”为了发挥作用，该系统要求人工智能实验室发布他们发布的每个模型的“指纹”，随后可以将其与特定输出进行匹配并进行加密验证。至关重要的是，指纹不会透露模型的权重、定义其行为方式的内部数字以及 Anthropic 和 OpenAI 等封闭模型制造商保密的信息。这意味着实验室可以在不放弃其最有价值资产的情况下发布指纹，从而使系统也能够与商业模型一起使用。该系统还被设计为轻量级，因此可以在本地设备上进行验证。作为公告的一部分，研究人员发布了系统各个元素的详细技术规范和工作代码，这些代码可在 GitHub 上根据开源许可证公开获取。该系统的研究正在进行中，并且没有计划将其部署在 Anthropic 或任何其他实验室。研究人员在公告中解释道：“这篇研究文章的目的是分享中间进展，而不是完整的研究议程。” “我们明确分享这一点的目的是让其他人看看我们所做的事情，接受并改进它。”