Transformer Transformer：运动条件机器人协同设计的统一模型

第 3 部分 动力学自引导零射击奖励 现在是实际的协同设计问题：我们如何为模型在训练期间从未见过的奖励函数生成高奖励机器人？这就是窍门。相同的模型可以预测实施例及其动态，因此我们可以将这些预测输入到用户的奖励函数中并获得预测的奖励 。有了预测奖励，我们可以并行运行模型多次，预测每个候选者的奖励，并返回最好的奖励。这是 N 次最佳采样，但以 GPU 速度进行。我们可以做得更好。因为预测的奖励是实施例标记的可微函数，所以我们可以获取其梯度并将其注入到扩散过程中——遵循分类器引导的 DDIM 11，在每个去噪步骤中将样本推向更高的奖励。该模型实际上是在问自己：“这个机器人应该如何改变以增加奖励？”我们称之为动力学自我引导。为什么“自引导”：将动力学纳入扩散引导的相关工作训练单独的动力学模型 12 或依赖于可微模拟器 13 。在这里，模型使用自己的动态预测来进行自我引导。一个渐变，整个情节。 Transformer Transformer 并行预测情节范围内的状态和动作标记；然后奖励梯度通过所有梯度流回实施例代币。硬件在长期动态上得到优化，而不是一次一个步骤。奖励进来，机器人出去拿一个随机生成的四足动物，它在动态投掷过程中掉落。让我们的模型生成一个仅具有跟踪奖励的具有相同轨迹的机​​器人，它会降低质心并扩大支撑多边形——它发现稳定的设计选择是试图最大化跟踪奖励的副作用，它从未见过。现在添加扭矩惩罚项，优化情况就会发生变化。该模型返回一个更小、更轻的机器人——仍然跟踪运动，但使用的平均扭矩减少了 30%。添加尺寸惩罚后，景观会再次发生变化。这就是人们所说的零射击奖励：训练动态建模，优化推理以获得你可以写下的任何奖励。相同的模型，不同的条件，不同的机器人。交换目标轨迹（地板擦洗 → 动态抛掷）或添加尺寸惩罚可以重塑优化景观，并且生成的实施例会相应地发生变化 - 无需重新训练。离散选择（腿设计、自由度）和连续选择（链接长度、安装点）的响应都不同。为整个数据集构建扩散模型 操纵不是一项运动；而是一项运动。这是运动的分布。我们希望优化机器人的整个任务（例如洗碗），而不是单个轨迹。扩散合成 14 、 15 让我们能够做到这一点：以不同的轨迹并行运行模型作为条件，对每个扩散步骤的预测噪声进行平均，然后您将获得同时针对所有这些进行优化的生成器。我们在公开可用的 UMI 双手洗碗数据集 3 上对此进行了测试，提供了 26 个验证轨迹。 Transformer Transformer 生成的机器人在整个保留分布上进行了优化 - 导航离散空间（脊柱设计：固定、滑动、弯曲）和连续空间（手臂尺寸、安装偏移） - 然后使用相同的模型作为跨实施例控制器来验证每个生成的设计。一个机器人，完成一项任务。该模型由 26 个保留的 UMI 洗碗轨迹组成，返回针对整个分布进行优化的单个实施例，然后由同一网络驱动它完成每个动作。