乔姆斯基和统计学习的两种文化

关于乔姆斯基和统计学习的两种文化 在 2011 年麻省理工学院 150 岁生日聚会期间举行的大脑、心智和机器研讨会上，《技术评论》报道称，诺姆·乔姆斯基教授嘲笑机器学习领域的研究人员，他们使用纯粹的统计方法来产生模仿世界上某些事物的行为，但他们并不试图理解这种行为的含义。文字记录现已发布，所以让我们引用乔姆斯基本人的话：确实，在尝试将统计模型应用于各种语言问题方面已经做了很多工作。我认为有一些成功，但也有很多失败。有一个成功的概念……我认为这在科学史上是新颖的。它将成功解释为近似未分析的数据。诺姆·乔姆斯基 (Noam Chomsky) 乔姆斯基的言论是为了回答史蒂文·平克 (Steven Pinker) 关于用统计方法训练的概率模型是否成功的问题。本文是对平克和乔姆斯基的回应，并将解决以下问题：乔姆斯基的意思是什么，他是对的吗？什么是统计模型？统计语言模型有多成功？科学史上还有像他们这样的成功观念吗？乔姆斯基不喜欢统计模型的哪些方面？乔姆斯基的意思是什么？他是对的吗？我认为乔姆斯基的观点如下：统计语言模型在工程上取得了成功，但这与科学无关。准确地建模语言事实就像收集蝴蝶一样；在科学（特别是语言学）中重要的是基本原理。统计模型难以理解；他们没有提供任何见解。统计模型可以对某些现象提供准确的模拟，但模拟的方式完全错误；人们不会通过查阅以前面的单词为关键字的概率表来决定句子的第三个单词应该是什么，而是从内部语义形式映射到句法树结构，然后将其线性化为单词。这是在没有任何概率或统计的情况下完成的。统计模型已被证明无法学习语言；因此，语言必定是与生俱来的，那么为什么这些统计建模者要把时间浪费在错误的事情上呢？他说得对吗？这是一个长期存在的争论。以下是我的简短回答：我同意工程成功不是科学的唯一目标或衡量标准。但我观察到科学和工程是共同发展的，工程的成功表明某些东西正在正常工作，科学上成功的模型的证据（但不是证明）也是如此。科学是收集事实和提出理论的结合；两者都无法自行进步。在科学史上，事实的艰苦积累是主导模式，而不是新鲜事。在这方面，理解语言的科学与其他科学没有什么不同。我同意理解包含数十亿参数的模型可能很困难。当然，人类无法通过单独检查每个参数的值来理解这样的模型。但是人们可以通过检查模型的属性来获得洞察力——它在哪里成功和失败，它作为数据函数的学习效果如何，等等。我同意单词概率的马尔可夫模型无法对所有语言进行建模。同样，没有概率的简明树结构模型无法对所有语言进行建模。我们需要的是一个涵盖单词、语法、语义、上下文、语篇等的概率模型。乔姆斯基因为某个已有 50 年历史的概率模型的缺点而否定了所有概率模型。我理解乔姆斯基如何从他对语言生成的研究中得出概率模型是不必要的结论。但绝大多数研究口译任务（例如语音识别）的人很快就会发现口译本质上是一个概率问题：给我的耳朵输入一串噪音，说话者最有可能是什么意思？爱因斯坦说过，要让一切尽可能简单，但不能更简单。科学中的许多现象都是随机的，其中最简单的模型是概率模型；我相信语言就是这样一种现象，因此概率模型是我们表示语言事实、用算法处理语言以及理解人类如何处理语言的最佳工具。 1967年，戈尔德定理显示了逻辑演绎对形式数学语言的一些理论局限性。但这个结果与自然语言学习者面临的任务无关。无论如何，到 1969 年，我们知道概率推理（基于概率上下文无关语法）不受这些限制（霍宁表明学习 PCFG 是可能的）。我同意乔姆斯基的观点，不可否认的是，人类具​​有学习自然语言的先天能力，但我们对这种能力了解不够，无法说出它是如何运作的；它证书