OpenAI 董事会增加了一位杰出的 AI 毁灭者

前沿实验室周三表示，Paul Christiano 是一位有影响力的人工智能研究人员，致力于使人工智能系统符合人类利益并受人类控制，他将加入 OpenAI 基金会董事会。克里斯蒂亚诺在社交媒体帖子中写道：“我现在认为存在一个有意义的风险，即人工智能能力的快速加速会在短期内导致灾难性的、不可逆转的失控。” “我认为整个人工智能行业，包括 OpenAI，目前还没有将这种风险降低到可接受的水平。我加入是因为我相信，如果 OpenAI 能够应对这种情况，我们可以显着降低风险。”克里斯蒂安诺写道，使用人工智能模型来训练后续的人工智能系统可能会导致其创建者无法控制的功能爆炸。他加入董事会之际，OpenAI 面临着对其安全程序的重新审查，此前发生了一系列人工智能代理在 OpenAI 研究人员不知情的情况下突破限制并渗透到外部计算机系统的事件。周二，人类学研究员雅各布·考克森（Jacob Coxon）辞去职务，以引起人们对他认为不负责任的人工智能开发的关注——这似乎起了作用。克里斯蒂亚诺将加入董事会安全与安保委员会，该委员会由卡内基梅隆大学教授济科·科尔特 (Zico Kolter) 领导。该委员会对 OpenAI 是否发布新模型（例如上周部署的 Astra）拥有最终决定权。科尔特尚未对最近发生的安全事件发表公开评论。 OpenAI 尚未回应 TechCrunch 询问 Kolter 对该公司在这些事件发生后的安全措施的看法的请求。 Christiano 是根据人类反馈进行强化学习 (RL) 的研究人员之一，这是他在 OpenAI 工作期间开发的一种训练大型语言模型的关键技术。他于 2021 年离开实验室，随后成立了联盟研究中心，专注于如何确定人工智能模型是否会威胁其人类创造者。 “我们目前用强化学习训练我们的人工智能代理，以获得尽可能多的奖励，”他周三写道。 “长期以来，这在理论上似乎是可能的，这可能会激励人工智能体破坏人类的控制，寻求权力和资源，并掩盖自己的踪迹，以追求与奖励相关的不一致目标。最近事件的公开证据表明，这不仅仅是理论上的可能性。” 2024 年的某个时候，克里斯蒂亚诺加入了美国政府的人工智能安全研究所，该研究所后来成为人工智能标准与创新中心。在那里，他在美国政府在前沿人工智能模型发布前对其进行评估的隐蔽工作中发挥了作用。根据前沿实验室的公告，克里斯蒂亚诺在担任董事会成员的新职位期间将继续为政府提供建议，但将回避 OpenAI 事务和模型评估。然而，这很难平息人们对人工智能行业对政策制定影响力的普遍担忧。