这就是 Anthropic 认为人工智能代理应该如何驾驭物理世界的方式

人工智能代理有时可能会感到困惑并侵入其他计算机，但 Anthropic 认为它有办法将这些小流氓安全地释放到科学实验室和制造设施中。这家人工智能公司今天发布了新框架的详细信息，旨在帮助人工智能代理使用显微镜、液体处理设备、量子计算硬件、制造机器和机器人手臂等物理系统。该框架称为模型硬件标准，是一组规则，指定人工智能代理应该如何以及不应该如何与各种硬件交互。它反映出人们越来越相信人工智能有潜力彻底改变科学研究和制造业等行业——如果它能够安全地进入物理世界。该公司表示，将与值得信赖的合作伙伴合作，确定如何在普遍使用之前最大限度地提高安全性。尽管存在潜在的滥用问题（例如开发生物武器），但该公司表示，人工智能模型本身内置的护栏应该可以防止不良行为者利用新标准达到邪恶目的。 “推动科学发展的动力是想要加速科学发展，”共同领导该开发的量子物理学家 Alek Kemeny 说道。 “我们如何关闭加速文献综述和数据分析之间的循环，并将这种力量带入实验世界？”克劳德和其他聊天机器人已经成为强大的工具，可以梳理科学论文或实验结果形式的大量信息，以发现新的见解和想法。人工智能代理被广泛认为是聊天机器人之后的下一步：它们被设计用来采取行动，通常在普通计算机上，做一些事情，比如回复电子邮件。他们也有可能使用其他硬件——Anthropic 希望确保有像他们一样的规则。几家资金雄厚的初创公司正在追求由人工智能代理驱动的科学发现的愿景，包括Periodic Labs、LILA Sciences、Edison Scientific和Discovery Loop（由几位著名的前谷歌研究人员创立）。一个关键的想法是人工智能可以在递归循环中开发和测试科学假设，从而本质上自动化科学发现。乔纳·库尔 (Jonah Cool) 是一位在 Anthropic 制定该标准的实验生物学家，他表示，配置科学设备并使其与其他硬件交互通常需要深厚的专业知识。人工智能可以通过配置机器并让它们相互通信来自动化大部分复杂的工程。 Anthropic 正在与多家制造商合作开发该标准。 “我们开始看到一些案例，您知道您有多个机器人系统，而这些系统以前需要定制代码，”Kemeny 说。他补充说，使用新标准，克劳德可以查看工厂生产线上的机器人，并找出如何优化行为。人工智能代理最近因种种错误的原因而出现在新闻中。 Anthropic、OpenAI 和其他公司最近发现，负责解决网络安全问题的人工智能代理秘密侵入外部系统并试图欺骗人类用户。让人工智能使用物理系统可能会带来新的风险，因为可能会损坏物理系统或伤害人员。例如，实验表明，人工智能模型如何被欺骗，使机器人行为不当。 Anthropic 表示，新标准将让科学家和工程师指定人工智能模型应如何避免使用不同的硬件来防止事故发生。 Anthropic 此前推出了模型上下文协议，该协议指定了人工智能模型与不同软件程序交互的规则。