人工智能“读心”工具可以根据大脑扫描重建你所看到的内容

其他团队也这样做了，并且还使用了其他几种工具来根据大脑扫描数据重新创建图像。但伊拉尼说，它们还不够好。假设一个人看到了一根香蕉。她说，这些模型可以生成香蕉的图像，但它看起来会有所不同。 “它不会有相同的结构，相同的位置。”更好的解码器团队希望更仔细地重建所看到的图像。第一步是根据八个人的现有数据训练人工智能模型，这八个人在高分辨率功能磁共振成像扫描仪中显示了大约 9,000 张图像。至关重要的是，他们的“大脑解码器”有两个分支：一个分支用于预测图像的结构（例如颜色所在的位置），第二个分支用于预测图像的内容（例如盘子上的一串香蕉）。这些预测允许扩散模型（一种以通过逐渐清理嘈杂的像素来创建视频和图像而闻名的人工智能）来更准确地表示人们所看到的内容。但为了改进模型，他们需要更多的数据——远远超过实际可用的数据。为了解决这个问题，她和她的同事在另一个方向上训练了另一个模型——一个可以根据图像预测大脑活动的编码器。然后，该团队将编码器和解码器结合使用来改进这两种工具。它的工作原理是这样的：从一张新图像开始，比如豹子的图像。然后使用编码器来预测一个人看到该图片时的功能磁共振成像脑部扫描会是什么样子。然后使用解码器再次重建图像。伊拉尼说，起初，这张图片可能看起来不太像豹子。但以这种方式反复训练模型最终会带来显着的改进。这种方法还允许团队在尽可能多的图像上训练他们的模型，即使这些图像可能从未在功能磁共振成像扫描仪中展示给人们看。伊拉尼表示，大约 70% 的训练数据来自最初未与功能磁共振成像扫描配对的图像。通过结合多项研究的数据，他们还能够识别出似乎在所有个体之间共享功能的大脑区域。例如，一个区域似乎对食物图像做出反应，而另一个区域则对体育图像做出反应。计算机科学家伊拉尼表示，她现在正在与神经科学家合作，“看看我们是否真的可以使用我们开发的这些工具来真正发现有关大脑的新事物。”