通用目标条件 Minecraft 模型

在 Pantograph，我们正在致力于训练完全通用的机器人模型，这些模型可以一次自主行动数小时。尤其是在机器人技术领域，很难大规模获取多样化的数据。学习从互联网视频数据中采取行动可以使模型随着计算而扩展，而不是受到小型行动数据集的限制。在这项工作中，我们开发了一种简单的方法，通过对互联网规模视频进行预训练来学习目标导向行为。通常，目标导向性是在培训后阶段教授的，这限制了它的泛化程度。在这里，我们在互联网规模视频的预训练过程中学习了目标导向性，这极大地提高了模型实现复杂目标的能力。视频游戏是机器人技术的一个有用的测试场。我们从《我的世界》开始，因为它是开放式的，并且支持实现多样化的长期目标。 1 1 该模型只能在一款游戏中发挥作用，但我们将在未来几个月内在更广泛的视觉环境分布中训练更大的模型。 ↩ 我们最大的模型，我们称之为 Pan，是一个 4B 参数模型，可以对抗小怪，探索寻找特定物体，完成具有挑战性的平台环境，并按照命令构建结构。我们发现它能够泛化到以前从未见过的相当多样化的环境。强化学习之所以有趣，部分原因在于它可以产生超人的模型。如果我们能够在视频上大规模进行强化学习，我们也许能够同时在更多领域产生超人的模型。 # 仅观察数据的强化学习 我们将互联网规模的视频视为仅包含观察的强化学习轨迹。 2 2 该镜头适用于某些模式，但不适用于其他模式。例如，大多数文本数据不能被视为代理与环境交互的书面记录。然而，它可能适用于音频。 ↩ 从此类数据中进行强化学习很困难，因为它缺乏奖励和行动，但事实证明，两者都有简单的解决方案。目标调节是一种避免指定奖励函数的简单方法。这个想法是使用视频中后面发生的事情作为前面部分的目标，这种技巧有时被称为事后诸葛亮重新标记，3 3 Marcin Andrychowicz 等人，事后诸葛亮经验回放，NeurIPS 2017。 ↩ 因为它会在一个目标上失败，并将其重新标记为实际发生的成功。原则上，您可以使用视频中稍后发生的任何描述作为目标，但在这项工作中，我们专注于使用视频帧作为目标。尽管视频不包含动作，但仍然可以从视频中学习仅依赖于状态的函数。这包括价值函数，4 4 通常，价值函数与特定策略相关。在这种非常一般的设置中，任意数量的策略可能在任何类型的环境中发挥作用，使用上下文学习来推断特定视频中策略的趋势和技能水平更有意义。通过这种方式，可以训练单个模型来充当通用价值函数，能够评估任何策略的行为。 ↩ 在目标条件强化学习中，大致表示智能体未来实现目标帧的概率，以及目标条件策略的下一帧分布。 5 5 这两者都可以通过多种方式建模，包括基于可能性的模型、基于能量的模型和对比学习。我们对未来可以研究这些不同方法之间权衡的工作感到兴奋。 ↩ 在这种与动作无关的预训练之后，可以使用包含动作的较小数据集来生成能够在环境中动作的代理。 6 6 鉴于强大的价值函数，学习行动是一个更容易的问题（Richard S. Sutton 和 Andrew G. Barto，强化学习：简介，第二版，麻省理工学院出版社，2018 年）。价值函数有效地将强化学习中非常困难的多步决策问题转换为单步决策问题，这通常更容易处理。 ↩ 我们认为这种将视频视为 RL 轨迹的镜头是富有成效的，并且还有很多想法有待探索。如果这是您感兴趣的工作，请加入我们！视频：目标：Pan-4b 在各种环境中的精选展示。顶部是推出视频，底部是命令模型的目标图像。 # 训练 我们在大约 50 万小时的不同 Minecraft 游戏视频中从头开始对一系列目标条件模型进行了预训练。之后，我们对他们进行了大约 2000 小时的承包商轨迹的后期培训，包括视频和动作序列。预训练与动作无关，动作空间仅在训练后出现。 （更多详细信息请参阅附录。） # 评估 我们创建了一套包含 104 个评估环境的套件。各个环境c