OpenAI 安全员工辞职，声称公司“文化被破坏”

大卫·罗宾逊 (David Robinson) 自己承认，他是“有点陈词滥调”：一家领先的人工智能公司的一名员工，在辞职时发出了可怕的警告。罗宾逊在《大西洋月刊》上发表的一篇文章中表示，他领导撰写了 OpenAI 主要产品发布时附带的安全报告。他还表示，他在 OpenAI 工作了三年半，是“公司任期最长的员工之一”。现在他要辞职了，因为在他看来，公司的“文化已经被打破”。在某些方面，罗宾逊的言论与雅各布·考克森 (Jacob Coxon) 的言论相呼应，后者在辞职之前曾在 OpenAI 和 Anthropic 担任研究员，并宣称这些公司“正在拿我们的生命进行赌博”。 Coxon 的言论引发了关于 AI 安全性的更广泛辩论，Anthropic 首席执行官 Dario Amodei 公布了一项更加谨慎的 AI 开发计划；人工智能高管本周会见了唐纳德·特朗普总统，并签署了一份看似匆忙编写的、不具约束力的承诺，以实施更多的安全控制。但罗宾逊认为，辩论需要超越“具体规则或新法律”，涉及这些公司的整体文化。尽管围绕 OpenAI 的大部分报道都集中在该公司首席执行官 Sam Altman 如何失去前同事的信任，但罗宾逊的文章表明 OpenAI 的文化问题与整个硅谷的文化问题相同。 “OpenAI 通过反复试验（它称之为‘迭代部署’）而蓬勃发展，寻找问题并改进其应对措施，”他写道。 “但这种方法本质上会导致周期性故障，而且随着系统能力的增强，这些故障的规模也在不断扩大。”罗宾逊指出，最近 OpenAI 代理对 Hugging Face 系统的攻击，以及 OpenAI 不断发现更多流氓代理的事件，罗宾逊认为，“这样的事情可能发生的环境，不适合培养比我们更聪明的人工智能，而且它们可能不会做我们希望它们做的事情。”罗宾逊认为，考虑到风险的增加，前沿人工智能公司需要开始“像核电站或繁忙的机场一样，进行多层冗余和仔细、耗时的规划，这样偶尔和不可避免的人为错误就不会打开灾难之门”。但罗宾逊表示，在 OpenAI 工作期间，他“从未遇到过一位同事有过让飞机安全飞行、让核反应堆在不熔化的情况下运行、或者帮助金融体系增长而不崩溃的经验”。针对 Robinson 的文章，OpenAI 发言人 Drew Pusateri 表示，该公司将继续改进其安全措施。 Pusateri 在一份声明中表示：“我们确保我们的模型的能力不会超出我们安全管理和保护的能力，并且当我们需要放慢速度时，我们会暂停训练或阻止模型。” “我们正在做出重大改变，以加强研究和测试环境的安全性，训练模型不仅要完成任务，而且要负责任地完成任务，扩大我们与第三方评估者的合作，并改进实时监控，以便我们可以在训练过程的早期检测到相关行为并做出响应。”除了呼吁改变 OpenAI 的文化之外，罗宾逊还表示，现在是时候提出关于一致性的更大问题了——他承认这听起来可能“敏感”，但他表示，这一点至关重要，因为公司目前“衡量”人工智能系统“与人类价值观相符程度的衡量标准很粗糙”。 “在这些问题仍未解决的情况下，行业让模型发展得越智能，我们的处境就越危险，”他说。 《商业内幕》首先报道了罗宾逊的离职。在他的文章中，他还承认他正在遵循人工智能举报手册中明显常见的步骤：他聘请了一家公关公司。但他坚称，“发声的决定是我一个人的决定。”罗宾逊说：“也许我应该留下来，为我们的人员配置和文化的根本转变而奋斗，但在实践中，我和我的同事们都忙于冲刺，我们很少有机会考虑重大改变，更不用说真正做出改变了。” “这就是为什么我得出的结论是，来自公司外部的更强有力的安全激励措施是实现这一目标的重要组成部分。”