经过 600 次实验，以下是我对 JEPA 世界模型的发现

LeWM 的规划范围约为 25 个步骤 一次规划所有 75 个步骤 ... 一次搜索，远目标 22% 每 25 个步骤一个子目标 ... 三个短搜索 80% 通过演示记忆进行规划 起始目标 跳跃是免费的 · 8 次跳跃 · 62% 每次跳跃都有成本 · 1 次跳跃 · 85% 每条细路径都是一次演示。通过自由跳跃，演示之间的最短路线会跳转到块无法实际遵循的路径。每次跳跃的费用由他们承担。标准 Push-T 测试比看起来更容易。需要注意的是，标准测试会进行演示，在演示过程中启动机器人，并沿着同一演示进一步设定固定步数的目标。这是一个合理的设计，但在 Push-T 中，每次演示都以块位于同一位置结束。因此，每个测试目标都位于演示已经走过的路径上，朝着它们全部结束的地方前进。对于 84% 的标准测试目标，内存图已经保持了与另一个演示几乎相同的状态。演示，全部以大致相同的位置结束 标准测试中的目标 来自其他演示的目标 标准测试沿着这些流选择其目标。更难的测试要求像橙色目标这样的目标，但没有任何一次演示可以实现这些目标。通常的样本也很小。在官方公布的 50 集比赛中，LeWM 的成功率为 68%，距离目标 50 步。在以同样方式绘制的 250 个新剧集中，成功率仅为 44%。除了计划者的随机种子之外什么都不改变，250 个情节中的 38 个情节在成功和失败之间翻转。这就是我决定建立一个更难的测试的地方，其中每个任务从一个演示开始，从另一个演示开始，因此机器人必须在没有单个演示连接的状态之间移动。仅当块在最后 10 步中保持在目标位置时才算成功。根据这些规则，内存图规划器在标准任务上的成功率为 75%，在新任务上的成功率为 45%。我发现第三种和第四种方法可以弥补这一差距。 3. 用转换后的记忆来填补记忆中的空白 记忆图的好坏取决于它的覆盖范围。当我删除接近目标的所有存储状态时，成功率从 93% 下降到 32%。 Push-T 在这里具有有用的对称性。如果您移动、旋转或镜像整个桌子，推动方块的物理原理不会改变。因此，当图表没有接近目标的状态时，它可以从其他地方获取演示片段，对其进行转换以适应差距，并通过这些进行规划。通过这些转型后的细分市场，成功率又回到了 85%。它们还将一小段记忆延伸了很长一段路（根据 1% 的演示加上转换后的副本构建的图表的效果与根据 10% 的演示构建的图表的效果差不多）。用转换后的演示填补内存空白 来自其他地方的同一部分、移动、旋转或镜像的演示片段 块达到了目标，250 个长期任务（距离目标 75 步） 93% 已满内存 目标附近的 32% 状态已删除 85% 的间隙用旋转和镜像副本填充 在更难的测试中，转换后的片段将成功率从 45% 提高到 56%，并且它们在演示最薄弱的地方帮助最大。当目标位于演示流程的方向时，内存图规划器在 69% 的情况下已经成功。当方向相反时，普通记忆占 27%，转换记忆占 46%。更难的测试，目标在于每行大约 83 个任务 目标在于演示流程 69% 的成功率 带有转换段的普通内存 4。成本是“错误的” 我还构建了一个交互式演示，我可以将块放置在任何地方并选择任何目标。目标必须是图像，并且场景的图像必须在某处显示推动器，因此我将推动器放置在目标后面。在一次运行中，机器人将方块推到距离目标 14 像素以内的位置，足够近，可以算作已解决。然后它将方块推离球门，并不断将推动器移向目标图像中推动器所在的位置。较难测试中的目标是来自专家演示的框架，因此每个目标也显示了专家的推动者当时所在的位置。将其预测与整个目标图像进行比较的规划器也试图将推动器放在那里。为了衡量这有多重要，我将模型排除在外。我在较难的测试中对相同的 50 个任务运行了两次精确物理规划器，唯一的区别是其成本是否包括推动者的位置以及方块的位置。块保持目标，相同的 50 个任务精确物理规划器成功，成本为 30 仅在没有推动器的情况下成功 0 仅在包含推动器时成功 当排除推动器时，三十个任务从失败到成功，没有一个是相反的。像这样的分裂发生的概率约为十亿分之二。这里的物理来自实际的模拟器，而不是预测，因此成功的 4 倍来自于目标的创建方式。为推动者评分的策划者完全按照要求行事。关于30项任务