“我们的看法是错误的”：颠覆人工智能世界的爆炸性主张

研究人员得出的结论是，该模型至少让一些神经元执行多项任务，也许是为了容纳更多数据。查看其他模型似乎也支持了这一点。这种现象被称为叠加：模型将不相关的概念折叠到单个神经元中。结果很明显：当你观察模型内部时，你看到的是一个巨大的、纠结的结。因此，大多数机械可解释性研究都集中在解开这个结的方法上。但尽管取得了一些突破，进展仍然缓慢。当今的模型，例如最新的法学硕士，是如此庞大和复杂，以至于研究人员一次只能理解很小的部分。该领域的一些领先人物怀疑是否有可能详细了解法学硕士。卡马拉塔就是其中之一。 “我非常悲观，”他说。但后来他不厌其烦地去看了看。除了神经元什么都没有 在 Goodfire，卡马拉塔几乎把所有时间都花在了研究神经网络内部。他构建了新工具并部署了人工智能代理团队来帮助他理解所看到的内容。 “我不知道，去年的大部分时间我每周 7 天、每天 10 个小时都在观察神经元，”他说。他声称已经意识到神经网络毕竟有一种逻辑，即使它们一开始似乎毫无意义。 “我们的看法是错误的，”他说。 “我只是觉得你想再努力一点；你不想太快放弃。”卡马拉塔听起来几乎像是信仰的转变。那些早期的 Inception v1 等模型实验表明神经网络是相互纠缠的，从而助长了一种确认偏差。他说，当研究人员研究一个新模型时，他们预计会感到困惑。 “每当我无法理解某些事情时，我就会想，‘哇，这个理清过程比我想象的还要重要，因为没有它我就无法取得任何进展。’”但卡马拉塔说，他对神经元的研究越多，事情就越开始变得井井有条。 “并非所有这些都完美无缺，但我预计没有任何内容是可读的，或者很少是可读的，”他说。 “实际上，我能够绘制出整个电路。”回到汽车和猫，卡马拉塔采用了他的新方法和新代理，并回到了 Inception v1。 “我可能已经研究了数千个小时，”他说。但卡马拉塔以新的眼光发现了一些他现在认为第一次就出错的事情。以汽车和猫神经元为例。他现在不再询问为什么多个不相关的事物被打包到一个神经元中，而是试图找出这些事物可能有什么共同点。