StructRL：使用重放图的无模型强化学习

arXiv:2611.14599v1 公告类型：新 摘要：StructRL 将强化学习过程中收集的经验转化为显式重播图。一旦图包含到达任务目标的路径，动态规划就会在状态空间的观察部分上选择操作；这些操作形成了一个图形策略，该策略仅在观察到所需转换的情况下定义。 StructRL 将这些动作传递给无模型学习者：作为 DQN Q 模型的动作偏好，以及作为 SAC 参与者沿最短观察路径的目标方向。对于三个稀疏奖励 MiniGrid 任务的 DQN，最终成功率从 0.10 升至 0.90 (DoorKey)、0.10 升至 0.80 (KeyCorridor) 和 0 升至 0.50 (ObstructedMaze)；普通 DQN 无法满足预算的三倍。对于连续 PointMaze 上的 SAC，在达到目标的七次匹配运行中，图形派​​生的方向标签将最终成功率从 0.17 提高到 1.0。将图策略提炼成新的 Q 模型后，DoorKey 6x6 控制器可以在 91% 的可到达状态下达到目标，而普通 DQN 只能达到 38%。扩展实验确定了三个瓶颈：不完整的图支持、结构混叠以及高维输入中图信息的丢失。