Rich Sutton 谈人工智能创造力和发现

Richard Sutton @RichardSSutton 一个新的且可能有争议的观点：在这段视频中，我解释了通过监督学习训练的生成式人工智能无法做出新发现的意义。 youtu.be/K5LAFEjTlBA 演讲全文：人工智能创造力与发现 女士们、先生们，大家好。我很遗憾今天无法与大家一起进行反复讨论，但我仍然很高兴能够通过这段录音与大家分享一些关于人工智能当前和未来状态的高层想法，特别是关于人工智能与科学和数学的关系，据我所知，这是本次会议和 SAIR 基金会的中心焦点。我想从一个老笑话开始；我相信你以前听说过。是关于一位研究人员的工作正在接受评估，评估回来后说：“这项工作既新颖又好。不幸的是，好的部分并不新颖，而新颖的部分也不好。”关于人工智能，我的第一点是，这种评估完全适用于我们今天所知的人工智能的大部分。不是当今人工智能的全部，而是其中的很大一部分。几乎所有我们所说的“生成式人工智能”的含义——包括大型语言模型、图像和视频模型，甚至是学习世界模型的新方法。所有这些人工智能都采用大量示例并生成一个行为与示例类似的“模型”，即生成像人一样的文本，或者像艺术家或自然一样的图像，以及我们在互联网上找到的视频。不要误会我的意思，生成式人工智能非常有用。毫无疑问。但对笑话的评价仍然适用。这些系统可以产生既新颖又好的输出，但不能同时产生。从很多方面来说，这绝对不是问题。当我们向人工智能从互联网上寻求答案或总结文档时，我们不希望它是新颖的。如果答案的质量和优点来自于源材料（来自撰写文档或互联网文章的人），我们会很高兴。如果人工智能的答案是新颖的，那就意味着它超越了源材料，添加了一些超出它的东西。这就是我们所说的“幻觉”。在大多数情况下，我们不喜欢人工智能编造一些东西，当它添加一些新奇的东西时。当然，一个例外是当我们寻找的不是事实或现实，而是小说和娱乐时。我们可能会要求给孩子讲一个睡前故事，或者一个基于互联网上现有图像的图像，但与它们不同且截然不同。在这些情况下，我们很难知道人工智能实际上有多大的创造力，因为我们不知道人工智能的故事、诗歌或图像与源材料有多接近。从真正的实际意义上讲，我们无法知道这一点，因为互联网太大了，人工智能可以利用的可能资源太多了。当我们要求小说或新奇的东西时，人工智能可以给我们，因为它的处理部分是随机的。每个决定都可以有多种走向，并且每次都会走向不同的方向并产生不同的轨迹。轨迹可以是随机的——因此是新颖的——或者它可以基于训练数据——因此是“好的”，因为训练数据是好的，来自于人或现实。因此，轨迹要么是新颖的，要么是好的——基于随机性或基于数据——但绝不会同时两者兼而有之。真的，我认为如果生成式人工智能的输出永远不会同时优秀和新颖，那也没关系。对于笑话中的研究人员来说，这是一个毁灭性的批评，但对于大多数事情来说并非如此，对于生成人工智能来说也并非如此。生成式人工智能旨在成为模仿者。这就是监督学习的目的。生成式人工智能可能非常有用，即使它只是模仿，如果它比被模仿的东西更快、更便宜、更小、更可定制、或更可复制的话。如果生成式人工智能不能同时既新颖又优秀，那也没关系。它仍然是一项变革性技术。但这是一个限制。请记住，我们来这里是为了将人工智能用于科学和数学，对于这些领域，笑话中审稿人的评估是毁灭性的。对于这些领域，我们需要真正的创造力和发现。生成人工智能（或模仿人工智能）永远无法达到我们的目标。对于这些，我们需要更多的东西，事实上，我们在人工智能的其他部分也有更多的东西。我们有很多人工智能系统，可以给我们带来更多。我们拥有改变世界的 37 步棋的 AlphaGo，以及拥有出色的原创国际象棋风格的 AlphaZero。我们拥有 GT-Sophy，它可以比人类更好地驾驶模拟赛车。我们有 AlphaFold、AlphaProof 和 Claude-Code，它们给科学、数学和编程带来了真正的进步。我们有 RL-Lyft，它优化了网约车业务中乘客的汽车分配。所有这些系统都发现了既新颖又好的东西。而且，说实话，一些语言模型