强化学习的直观解释

你的大脑如何帮助你学习新技能？为了尝试回答这个问题，我们将构建一个具有简单大脑的数字生物，并观察它学习新的行为。在我们之前的文章中，我们创造了一种叫做火花的生物，它可以转向光。我们看到它的神经回路的微小变化如何引起非常不同的行为。恐惧、攻击、吸引力、爱、展示火花当时，我们用手将这些电路连接到火花的大脑中。但现在，我们希望它自己学习相同的行为。毕竟，你来到这个世界时并不知道如何走路、说话或阅读。虽然你的一些能力，比如呼吸或吞咽，是由进化决定的，但你也通过艰苦的尝试和错误过程获得了其他能力。我们希望我们的火花也能做到这一点。为了让您对这个学习过程有一个直观的了解，我们将把控制权交给您。我们希望你连接火花的大脑。你连接它的大脑但首先，我们需要告诉你你要连接什么。火花的大脑只有四个神经元——两个神经元充当它的眼睛，两个神经元充当它的鳍状肢。身体同一侧的神经元之间有直接连接，两侧的神经元之间有交叉连接，还有驱动器，它在没有光的情况下控制火花的速度。因此，它的大脑连接归结为三个数字——每种连接的强度和驱动力。现在让我们释放这个火花。使用下面的滑块在它移动时连接它的大脑。我们会记分。您的目标：获得 0.5 以上的分数，让火花爱上光。你能让火花在灯里呆上一段时间吗？该分数代表使用这些设置进行 100 多次试验时火花遇到的平均光量。找到正确的配置需要大量的试验和错误。 （如果您遇到困难，请单击上面的提示按钮，以向正确的方向轻推。）让我们想象一下您刚刚做了什么。为了引导火花走向光明，您调整了三个数字。我们可以将这些数字表示为立方体的三个轴。这张图片的回报是，我们可以将你的火花的学习轨迹可视化为这个立方体内的一条路径。为了引导火花，您可能会以一种方式推动滑块，看看这是否会使事情变得更好或更糟，然后使用此反馈来决定您的下一步行动。让我们将其提炼成一个学习算法——一个循序渐进的过程，火花可以通过练习重新连接它的大脑。它的工作原理是这样的：火花经过多次尝试才转向光明。在每次试验之前，它的大脑线路都会随机改变一点，就像你来回摆动滑块一样。如果试验比之前的试验进行得更好，那么火花就会得到奖励，并且它的线路会朝着这个随机变化的方向移动。如果试验变得更糟，火花就会受到惩罚，它的线路也会向另一个方向移动。这与学习走路或骑自行车的方式没有什么不同。跌倒是对你的惩罚，而平衡的快感则是对你的奖励。这个简单的算法能帮助火花找到光吗？火花会自己学习 一开始，火花是一个新手，其大脑是随机连接的。不出所料，它并没有走得太远。学习之前：卡住 单击可移动灯光。拖动灯光来移动它。小火花可以在原地旋转，但还不能四处移动。但它即将变得更好...... 50 次尝试后：蜿蜒单击以移动灯光。拖动灯光来移动它。经过 50 次尝试这种学习算法后，我们的婴儿 Spark 已经迈出了第一步。虽然它不会打破任何速度记录，但它现在正在移动...... 250 次尝试后：避免 单击以移动灯光。拖动灯光来移动它。经过 250 次尝试，我们少年的火花已经加速。但它在最后一刻偏离了光明。 500 次尝试后：充电 单击可移动灯。拖动灯光来移动它。经过500次尝试，我们的青春火花勇敢地冲向光明。但它还没有弄清楚如何减速或停止。 2,000 次尝试后：专家 单击以移动灯光。拖动灯光来移动它。经过 2,000 次尝试，我们的火花现已成年——成为寻找和追随光芒的专家。它紧贴光线，可以瞬间转动。 （尝试移动灯光，看看火花跟随它。）像以前一样，我们可以将这个学习过程可视化为一条路径。火花在 2,000 次尝试后的学习路径... 0 次尝试... 这不是一条穿过物理空间的路径。相反，它是一条穿过可能的大脑空间的路径。它展示了火花的大脑在学习过程中如何变化。其他新手的火花会从不同的点出发，各自描绘出自己的学习轨迹。许多 Spark 在 6,000 次尝试后的学习路径... 0 次尝试... 这个错综复杂的网络说明了数百个新手 Spark 的学习路径，每个 Spark 都从不同的大脑开始。仿佛有魔法一样，所有这些威胁