使用规范多项式不变量诊断强化学习模拟器和世界模型中的故障

arXiv:2609.13194v1 公告类型：新 摘要：大量文献将物理结构构建到学习动力学中，前提是尊重基础物理的模型可以更好地预测。我们使用从轨迹中恢复的精确多项式不变量来测试该前提，并将其规范化为 $\mathbb{Q}$ 上的减少的 Gr\"obner 基。在 Acrobot 上，精确性对预测几乎没有什么好处：一致性正则化器减少了代数残差，同时保持推出保真度基本不变，并且从具有 100% 质量误差的系统中恢复的整形势能与正确势一样有效地加速学习。相反，精确的规范不变量对诊断有价值。我们开发了两个程序：筛选，用于识别违反的物理约束；归因，用于恢复错误的不变量并识别负责的物理参数。为了实现这一点，我们在 15 个注入的故障中引入了正则形式紧缩和商空间恢复，筛选定位了每个损坏的约束，没有误报，而观察空间基线则不定位任何故障；归因则恢复了所有七个参数故障的相关参数，这表明其优势在于定位。而不是检测，对参考生成器进行 $10^{-4}$ 的扰动保留了 14--15/15 的定位，这表明筛选不需要精确性，而理想平等决策仅区分 $10^{-12}$ 的扰动，表明代数比较需要精确性。应用于 11 个 RL 环境中的 350 个版本对时，诊断没有发现模拟器动态变化的证据，而是揭示了基准实现本身的属性。