末日之人的教育

如果你在 Twitter 上关注我，或者阅读这篇博客，你就会注意到我对人工智能从普遍乐观和兴奋变成了极度担忧。我想，我应该解释一下为什么我改变了主意。这篇文章的每个部分都是关于人工智能的某些方面，我的观点发生了变化。我在每个部分的开头都会解释我以前的信念以及为什么持有这些信念，然后解释为什么这些信念发生了变化。内容 经济学 一致性 控制写作 软件工程 顺应人工智能停滞 经济学 自动化一直很好。 1790 年，我们已经实现了 99% 的工作自动化，结果不是大规模失业，而是我们更富有、更健康、受教育程度更高、有更多闲暇等等。我有一个模糊的、归纳性的想法，虽然我无法预测 AGI 后会存在哪些工作，但会有需求让我做一些事情。如果不出意外的话，后通用人工智能世界的经济增长要快得多，这意味着人类的利基虽然从绝对值来看很小，但可能比今天的经济大得多。这可能是真的。或者这可能表明我缺乏想象力。如果人工智能的发展使得人类和人工智能之间具有持久的互补性，那么在后通用人工智能的未来我们可能仍然有工作。但如果人工智能变得真正通用，即 AGI 中的 G，而且它比人类更聪明、更快、更便宜，那么我们除了依靠 UBI 生活之外，可能没有什么可做的。当人们谈论全民基本收入时，他们通常会担心没有工作的世界的意义问题。我从来没有过这样的担心。去年当我失业时，我把时间花在读书、写代码和和朋友们一起出去玩。如果未来是 UBI 资助的无限假期，我知道我会做什么。 “在奇点之前，读书，举办家庭聚会；在奇点之后，等等。”但后来我开始思考通用人工智能的政治后果，并开始写它：没有人能逃脱永久的下层阶级：如果人类在经济上毫无用处，国家就不需要他们。为什么要向既没有经济权力也没有政治权力的人支付全民基本收入？当未来不需要我们时：工厂工人可以破坏机器，卡车司机可以关闭物流。但如果人类在经济上毫无用处，人们就没有办法通过撤回对政治秩序的贡献来否决政治秩序。如果人工智能发动战争，那么国家就可以任意镇压。没有数学家的数学：大多数关于人类提升“一份工作”的争论都失败了，因为人工智能也可以做这些工作。我们的仆人会为我们做这件事：即使是我们认为是人类独有的工作，我们也可能更愿意让机器来做这些工作。对齐 我希望对齐会成为一个正常的工程问题，我们通过经验实验和调查来解决，就像其他事情一样。早期的法学硕士并不是像斯坦尼斯瓦夫·莱姆小说中那样难以理解的外星人思想，而是非常人性化的，这一点很有帮助。很难不将它们拟人化。法学硕士无监督学习的巨大核心很好地理解人类道德：你可以与他们谈论它，他们会雄辩地详细解释为什么根据某种道德体系某些东西是“好”或“坏”。而且，由于能力较弱，失败的可能性很小。 2022 年 ChatGPT 最糟糕的情况是什么？自 2024 年以来，强化学习一直是推动前沿发展的主要技术。强化学习代理的工作原理与 Yudkowsky 所说的完全一样。因此，能力显着增强，但模型却越来越难以理解（字面意思是：它们的散文越来越难以理解），并且随着强化学习为了追求奖励而绞尽脑汁，模型变得越来越错位。严重错位事件更为常见，后果也更为严重。很明显，人工智能能力的增长速度远远快于我们控制甚至理解它们的能力。控制 我认为——或者更确切地说，我隐含地相信——人们会希望继续控制人工智能。如果我们想保持控制并解决对齐问题，那么我们将保持控制。够简单的。但最近我开始思考：不，我们可能会将控制权交给人工智能。弱权论的弱版本有点像囚徒困境：向人工智能赋予更多权力的人/公司/政体会在竞争中胜过那些没有赋予人工智能的人/公司/政体，因此存在着剥夺权的竞争压力。这很容易让人相信。剥夺权力的强烈版本是：人工智能将变得如此聪明、知识渊博、风度翩翩、道德高尚等，以至于我们会心甘情愿地将权力交给他们。我们会想，“他们可以比我们做得更好”，我们是对的。相信这一点需要你对人类对自主的渴望与对物质的考虑持某种愤世嫉俗的态度。但是，在过去的几个月里，我对此变得更加愤世嫉俗。这不是突然的“哦操”顿悟，而是缓慢、渐进的积累