孩子们的学习能力超过了人工智能——但我们仍然不知道为什么

“这真是太神奇了，”弗兰克说。 “如果你用 3000 万个单词训练 GPT-2，你会得到一个无意义的生成器；你不会得到一个孩子。”婴儿到底是如何做到这一点的还是一个谜。研究人员对孩子在不同发展阶段学习什么以及他们如何使用语言了解很多，但仍有很多我们不知道。也许最持久的问题是为什么婴儿能够学习语言。人类语言的语法（将单词组合成句子的规则）包括递归的嵌套结构，这些结构使我们能够用有限的单词词典和单词片段表达几乎无限的想法。这似乎是婴儿应该面临的问题。它们只是在深不可测的语言海洋的浅滩上嬉戏。然而，不知何故，这就足够了。他们从水滴中推断出深度。麻省理工学院语言学家诺姆·乔姆斯基 (Noam Chomsky) 在 20 世纪 50 年代提出的一种解决方案是，婴儿生来就具有固有的语法知识。乔姆斯基是在回应心理学家 B.F. 斯金纳 (B.F. Skinner) 倡导的另一种观点，即语言习得完全是环境因素。斯金纳认为语言是通过调节和强化来学习的，就像狗知道如何坐下或摇晃以获得食物一样。乔姆斯基反驳道，他引用了“刺激的贫乏”——即语言，尤其是语法，太复杂，而儿童接触语言的机会太“贫乏”，以至于他们无法完全从经验中学习。加州大学欧文分校的语言学家和认知科学家理查德·富特雷尔 (Richard Futrell) 表示：“从本质上讲，他的标志性论点是，语言不能纯粹基于统计数据来学习。”相反，乔姆斯基假设语言基于一组逻辑规则，并认为儿童需要这些规则的先天知识才能从言语片段中推断出他们语言的语法。 “这真是太神奇了……如果你用 3000 万个单词训练 GPT-2，你会得到一个无意义的生成器；你不会得到一个孩子。”迈克尔·C·弗兰克 (Michael C. Frank)，斯坦福大学认知科学家 乔姆斯基的语言观以生成语法的名义主导了美国语言学数十年。它对 20 世纪 50 年代和 60 年代的计算机科学产生了重大影响，当时人工智能正处于第一次繁荣时期，语言学和自然语言处理之间的界限因大量军事资金而消失；五角大楼希望计算机能够理解英语并翻译俄语。尽管学习识别和再现统计模式的简单神经网络取得了早期成功，但美国的人工智能研究人员在很大程度上采用了受乔姆斯基理论影响的基于规则的框架。他们试图通过将规则明确地编码到程序中来向计算机教授语言——少一点沉浸式体验，多一点语法课。这种方法是一种称为符号人工智能的更广泛趋势的一部分，已经流行了数十年。它在很大程度上也未能产生真正能够大规模处理人类语言的模型。在 20 世纪 70 年代开始的“人工智能冬天”中，人们对自然语言处理的兴趣逐渐降温。此后，神经网络开始卷土重来。但直到 2010 年代，计算机硬件变得越来越便宜、功能越来越强大，互联网也越来越庞大，它们的性能才开始引人注目。到 2018 年和 2019 年，模型 BERT 和 GPT-2 建立在新的架构（Transformer）上，并接受了数十亿个代币的训练，这让内部人士清楚地认识到，从大量数据中学习可以适用于语言。 2022年，随着OpenAI的聊天机器人ChatGPT的突破性成功，所有人都清楚了。 LLM 不是大脑。它们是强大的统计学习器——天真的模式学习机器，没有任何进化的生物怪癖融入人类皮层。换句话说，它们正是二十年前的生成语言学家认为无法学习语言的东西。然而他们却在这里写下了可信的十四行诗并通过了语法测试。 “无论你对人工智能有多怀疑，每个人都印象深刻的是：这些东西学习语法，”加州大学伯克利分校的发展心理学家艾莉森·戈普尼克说。 “我认为这不会是真的。而且我认为大多数人并不认为你可以只看大量语言样本的统计数据并找出语法。”