教世界模型玩口袋妖怪

教世界模型玩神奇宝贝 目录 我认为人工智能领域发生的一些最令人着迷的工作围绕着世界模型。世界模型有很多种（这个术语本身已经变得有点超载了），但世界模型最令人兴奋的架构之一是 Yann LeCun 的 JEPA（联合嵌入预测架构）。有很多变体，其中一个特别引起我注意的是 LeWorldModel 。它似乎足够小，可以在我的 RTX 3080 Ti 上进行本地训练，并且比以前的许多 JEPA 架构具有更简单的设计。旧金山到处都是神奇宝贝纪念品——以 1026 只神奇宝贝为主题的大型广告贴在地铁线路和市场街的公交车站上。旧金山是今年神奇宝贝世界锦标赛的举办地，在旧金山市中心的温带山丘和混凝土金融区里，可以看到许多不拘一格、充满欢乐的神奇宝贝训练家。也许所有的广告都在潜意识里控制了我，但我决定，对于我们的世界模型来说，一个好的“世界”应该是 1996 年的游戏《神奇宝贝红》。 《神奇宝贝红》的机制是一款游戏，您可以在其中探索世界，收集称为神奇宝贝的生物，并在战斗中使用它们。您可以使用方向按钮四处走动或在菜单中移动。 A按钮与事物交互、推进对话并确认选择； B 按钮通常会取消或退出。选择起始者意味着接近神奇宝贝球（容纳神奇宝贝的容器）并通过对话确认您的选择。游戏开始时，玩家会进入大木教授的实验室，在那里他会为你提供你的第一个神奇宝贝：妙蛙种子、小火龙或杰尼龟。这是三个“首发者”，每个人都在实验室桌子上的神奇宝贝球中等待。上面的 GIF 是模型训练的最终结果：模型计划了一系列选择 Squirtle 的按钮按下操作。尽管该模型在更简单的测试中看起来很有希望，但困难和挫折比我预期的要多。计划目标相对简单：击败奥克教授的孙子。将其分解为多个步骤，我想出了： 到达Oak教授的实验室 完成与Oak的对话 选择一个入门神奇宝贝 尝试退出实验室 面对并击败Oak的孙子 我很快就注意到这对于第一个实验来说可能是雄心勃勃的 - 所以我将范围缩小到从Oak实验室保存的状态中选择一个入门，其中获得三个入门中的任何一个都将被视为一次成功的尝试。从实验室中保存的位置来看，让模型按 A 十二次就足够了。但模型能学到这一点吗？该模型也可能漫无目的地闲逛，也许在奥克的实验室里永远受到折磨。或者模型可以在每隔几个 A 序列后按下 B ，在几乎达到目标时取消其努力。世界模型到底是什么？世界模型是这样一种模型：我们从当前的某个状态或观察开始，然后发生一些动作来修改该状态，产生新的观察。实际上，对某个状态的操作与其产生的新状态之间应该存在某种相关性或希望因果关系。世界模型的目标是学习这种相关性。假设当前的观察结果是 Oak 教授实验室的屏幕截图，玩家位于神奇宝贝球前面，动作是按向左键，将玩家向左移动一格，从而生成新的最终屏幕截图。世界模型的目标是开发某种形式的直觉，即按左键会将玩家向左移动。 $$ o_{t+1}\大约 F(o_t,a_t)。 $$ 这里 \(o_t\) 是当前屏幕截图，\(a_t\) 是按下的按钮，\(F\) 是世界模型学习预测下一个屏幕截图的函数 \(o_{t+1}\)。但目标应该是泛化——模型不应该知道在 Oak 教授的实验室中按左键会将玩家向左移动，但在任何地方按左键都会将玩家移动到左侧。顺便说一句，这种设置听起来可能有点类似于强化学习。但至关重要的是，世界模型学会了在没有奖励的情况下理解状态动态，也就是无奖励（稍后会详细介绍）。世界模型如何学习从屏幕截图到嵌入进行预测因此，如果我们真正感兴趣的是状态转换和环境动态，而我们所拥有的只是观察（在这种情况下，以游戏屏幕截图的形式），那么模型是否学会预测屏幕截图？不，模型实际学习的是在其潜在空间（也称为嵌入空间）内进行预测。我们首先需要一个编码器，当给定屏幕截图时，它会生成嵌入。什么是嵌入？屏幕截图 编码器 → 0.24 −1.07 0.63 ⋮ 0.18 192 个数字 嵌入是输入作为数字向量的学习表示。编码器可以将图像、句子或声音转换为这样的向量，