神经网络已经很干净

简短版本 我想我有关于神经网络本质的好消息。经过几个月研究图像和语言模型中的神经元和电路，我开始相信网络自身的机制是其清晰的构建模块，并且机械可解释性的前景可能比我担心的要好得多。多义性和叠加的规范证据让包括我在内的许多领域人士相信网络任意打包概念是被误读的。看起来像任意打包的东西主要是一个我称之为递归泛化的主题，这不太令人担忧。这意味着我们可以直接研究网络，而不是首先解开它们。神经网络已经很干净了。至少有两种方法可以实现机械解释。第一个是网络本身的快速常规科学：观察网络的神经元和电路，研究它们之间的关系，观察数据流经它们，并以代理规模进行实验来测试解释。第二个从一系列假设的特征开始，尝试提取所有特征，设计越来越复杂的重建目标，并且通常忽略原始特征。该领域从第一种方法开始，然后又退回到第二种方法，因为神经网络似乎是纠结的结。我们有多语义神经元的典型例子，这是一个神经元的广义名称，它似乎具有多种不相关的工作，或者看起来无法理解。最著名的一个是图像模型，它对猫脸和汽车前部都有反应。早期领域模型生物的最后一层 InceptionV1 似乎充满了任意的混合物，以至于不清楚如何研究它：几乎没有一个神经元是容易解释的。对多义性的主要解释是叠加。这提出了一个新的学习原理：当神经网络耗尽神经元时，它会停止将相关的事物分组在一起，而是开始将不相关的事物折叠在一起，仅仅是因为它们不会干扰。结果是一种结：网络可以以许多几乎同样好的方式折叠，因此神经元将哪些东西组合在一起几乎不会告诉你任何信息。在你研究任何东西之前，你必须先解开这个结。在实践中，这意味着训练第二个模型（例如稀疏自动编码器等分解模型）以近似网络，就像它看起来展开一样，并对其进行研究。如果网络真的打结了，可能别无选择。一个主要结果是叠加是对 InceptionV1 的错误解释。架构问题导致后面的层溢出。薄弱的可解释性工具放大了这些问题，使后面的层看起来不连贯。从那时起，旨在帮助深层更好地学习的架构变化产生了意想不到的效果，使它们更易于解释。当我们第一次研究 InceptionV1 时，我们发现它的最后一层几乎没有可解释的神经元。但通过这些普通的改进，并且不改变模型大小或训练数据，最后一层中 99-100% 的神经元都可以轻松解释，并且模型自始至终都清晰易读。这是我觉得我最能理解的第一个不平凡的神经网络；你可以在这里浏览。我在 300 倍尺寸范围内训练了它的版本，并且它在每个尺寸上都清晰可见。由于空间较小，网络不会将不相关的事物折叠在一起；它的神经元只涵盖较粗粒度的概念，就像一个汽车神经元涵盖多种汽车一样。有了更多的空间，该神经元就会分化成许多特定的汽车。所以问题不在于第二个学习原则的存在，而只是第一个学习原则的普通学习失败，而且很容易修复。多义性和叠加的典型视觉例子也是错误的。 2019 年，Chris Olah 和我在 Zoom In [4] Zoom In：电路简介中发现了最初作为叠加现象引入的电路 Olah, C.、Cammarata, N.、Schubert, L.、Goh, G.、Petrov, M. 和 Carter, S., 2020。Distill。参考文献↓。它显示汽车特征似乎扩散到一组不相关的狗神经元中。这是我们展示的唯一一幅画，也是我见过的唯一一幅画。我们将其理解为网络将汽车放置在高维隐藏位置，供下游神经元读取。但没有任何东西可以读取该组合。它没有隐藏任何东西；这是普通的概括和组合。据我所知，没有人发布过第二个形状正确的电路。现代语言模型也比人们普遍认为的更容易解释。 Anthropic 的走向单义性 [10] 走向单义性：通过字典学习分解语言模型 Bricken, T.、Templeton, A.、Batson, J. 等人，2023 年。变压器电路线程。参考文献 ↓ (2023) 研究了一个小型单层模型，在其评分标准上给中位神经元打了 0 分（满分为 14），这意味着评估者无法形成任何假设。自动解释器