人工智能研究人员发布视频称超级智能“正如听起来一样危险”

“在我看来，人类灭绝的可能性就像抛硬币一样，”前 OpenAI 和谷歌 DeepMind 员工杰弗里·欧文 (Geoffrey Irving) 在一次新的采访中表示。这是对人工智能研究人员的十几次采访之一，这些研究人员包括 OpenAI、谷歌和 Anthropic 的现任和前任员工。 Palisade Research 自称是一家研究人工智能能力和动机的非营利组织，收集了采访内容并在 frominside.ai 上发布。几位研究人员与欧文一起警告人工智能可能导致人类灭绝。谷歌 DeepMind 研究科学家尼尔·南达 (Neel Nanda) 表示，“至少有 10% 的可能性会导致人类灭绝，这个概率高得离谱。”我们注意到南达和欧文在最近一份关于“人工智能安全”社区的报告中发表的评论，以及确定该术语的含义或任何人应该采取的措施是多么困难，甚至这些视频也没有提供一个有凝聚力的解决方案。前 OpenAI 研究员 Daniel Kokotajlo 甚至声称超级人工智能“基本上会像神一样强大”，并补充道，“不幸的是我们根本不知道如何控制它们。所以可能没有人会控制它们。这确实像听起来一样危险，绝对不能允许发生。”虽然每个视频都是完整的，但该网站还收集了多个人谈论类似主题的片段，包括这是否只是炒作或营销，以及为什么他们会从事他们认为如此危险的事情。其中一些回应包括谷歌的 Mary Phuong 说“我认为你绝对应该怀疑我所说的，因为我是由实验室付钱的”，Nanda 的解释是“如果我不相信我的工作直接减少了这些存在风险，我就会辞职……这些公司不会因为我辞职而停止制造这些系统。”