首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

人工智能超级智能的争论存在严重缺陷

摘要

Many people were caught off guard this past summer when employees of one of the world’s leading AI companies began casually debating whether their products would lead to human extinction. It started w...

that the and superintelligence with will human Anthropic Jacob our
2026-11-19 1 阅读 约5分钟阅读 rbanffy
分享:
字号:
去年夏天,当世界领先的人工智能公司之一的员工开始漫不经心地争论他们的产品是否会导致人类灭绝时,许多人都措手不及。事情始于人类学研究员雅各布·考克森 (Jacob Coxon) 宣布辞职,并警告说,他的雇主和 OpenAI 正在“直接与自我完善的超级智能赛跑,并用我们的生命进行赌博”。 Anthropic 的对齐科学负责人埃文·胡宾格 (Evan Hubinger) 回答道:“雅各布在这里是正确的——我们确实真诚地相信人工智能可以杀死所有人类!” Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 随后告诉 CNN,“我同意雅各布的观点远多于不同意他的观点。”这些担忧源于未来学家圈子中流传了数十年的一个信念:一旦工程师设计出能够自我改进的人工智能系统,它将触发一个加速的自主升级周期,即递归自我改进(RSI)。其结果将是超级人工智能(ASI),这是一个认知能力远远超过人类的系统,它很容易逃避我们的控制,甚至可能消灭我们的物种。值得注意的是,超级人工智能是一个比通用人工智能(AGI)更加雄心勃勃的目标,通用人工智能通常指的是在广泛的认知任务中能够与人类能力相匹配的人工智能。这些想法引起了不同的反应。一些人认为,ASI 的概念被用于营销或发起监管,以帮助现有实验室压制新的竞争对手。其他人则关注此类系统杀死我们所有人的合理性,讨论人工智能设计的超级病毒等特定场景的细节。还有一些人声称,让 ASI 与人类利益保持一致是可行的,因此我们应该尽快迎来这个数字乌托邦。在这些对话中,有一个问题相对较少受到关注:从工程学的角度来看,超级智能是否可能?答案很重要,因为它可以帮助我们调整焦虑,并对这种新兴技术制定最有效的应对措施。最近,我在华盛顿特区乔治城大学教授的计算机科学博士研讨会上探讨了这个主题,我和我的学生研究了超级智能故事的技术和文化根源。 (对于那些感兴趣的人,我们出版了一份带注释的课堂阅读书目。)我对 ASI 的可行性提出了几个主要反对意见,我将在下面详细介绍,以及更深层次的恐惧,即即使承诺的情报爆炸永远不会到来,追求它仍然会造成真正的伤害。反对意见#1:递归自我改进是投机性的 RSI 是一个古老的概念。在 1965 年的一篇论文中,统计学家 I.J.古德推测,人工智能自我完善的快速循环可能会导致“智能爆炸”。这个想法在 20 世纪 90 年代受到湾区未来主义团体 Extropians 的关注,它提供了一种讨论 ASI 的方法,而无需解决如何构建这样一个系统的工程细节。这一概念被埃利泽·尤德科夫斯基(Eliezer Yudkowsky)(后来创立了理性主义运动)和尼克·博斯特罗姆(Nick Bostrom)(他帮助引导有效的利他主义更多地关注人类的生存风险)等著名人物所采用。然而,最近,这个话题已经从 Anthropic(Claude 的制造者)和 OpenAI(ChatGPT 的制造者)的思想实验转向了实际工程。在六月份题为“当人工智能构建自身时”的博客文章中,Anthropic 描述了 LLM 支持的代理如何加快代码的编写、调试和优化,以及如何自动化部分研究,例如运行实验和记录结果。报告总结道,该公司的内部数据“表明人工智能已经在加速人工智能系统的开发。” OpenAI 也同样明确地表达了其意图;在 9 月份的一份报告中,该公司宣布了到 2028 年 3 月开发一名自动化研究人员的目标。但这些努力是否会让公司走上无法控制的 RSI 的轨道?有几个障碍削弱了这一说法。考虑改进人工智能系统所需数据​​的可用性。到 2023 年,法学硕士的主要进步来自于模型规模的扩大。最初的 GPT-1 有 1.17 亿个参数(在训练过程中学到的值,这些值决定了神经网络处理信息的方式)。三年前发布的 GPT-2 的数量跃升至 15 亿,GPT-3 的数量跃升至 1750 亿,GPT-4 的数量(可能)超过一万亿。然而,在 GPT-4 之后,持续的扩容开始产生收益递减。这导致工程师越来越多地将注意力转向“训练后”阶段,在该阶段中,应用强化学习技术来提高已训练模型在特定任务上的性能。这种方法奖励产生成功响应的模型,帮助它在未来更好地产生类似的答案。然而,这需要很多
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱