MDN-VJEPA：多模态概率联合嵌入世界模型

arXiv:2610.13956v1 公告类型：新 摘要：联合嵌入预测架构（JEPA）通过预测未来表示而不是重建观察来学习世界模型。变分 JEPA (VJEPA) 提供了这种预测概率语义，并允许灵活的条件预测族。我们提出 MDN-VJEPA，一种多模态概率 JEPA，它将潜在预测器实例化为混合密度网络 (MDN)，用高斯混合表示未来状态，其组件编码替代未来、它们的概率和模式内不确定性。对于顺序预测，我们解决了两个额外的结构要求：多模态未来应该在整个轨迹上保持时间连贯性，并且当通过不同的时间路径组合传播到同一地平线时，预测信念应该保持一致，正如查普曼-柯尔莫哥洛夫方程所激发的那样。这些考虑因素共同定义了多模态预测、相干多模态轨迹和成分一致的多模态动力学的三级层次结构。对照实验表明，MDN-VJEPA 紧密地恢复了已知的分支预测定律，保留完整的多模态信念而不是其条件均值可以在分支未来下导致实质上不同且更好的规划决策，并且轨迹级耦合和分布一致性提高了时间相干性和多水平一致性。这些结果支持一个简单的原则：概率 JEPA 不仅应该保留未来的不确定性，还应该保留哪些不同的未来构成了这种不确定性，它们如何形成连贯的轨迹，以及这些信念如何随着时间的推移而组合。