智能AI
morning
非对称演员批评家的记忆状态批评家及其在基于视觉的追逐逃避中的应用
摘要
arXiv:2610.03830v1 Announce Type: new Abstract: In partially observable Markov decision processes, the optimal policy generally depends on the history of observations and past actions. Asymmetric acto...
the
state
critic
history
and
memory
policy
that
The
not
2026-10-06
1 阅读
约1分钟阅读
Arthur Louette, Alejandro S\'anchez Roncero, Gaspard Lambrechts, Pascal Leroy, Julien Hansen, Petter \"Ogren, Damien Ernst
字号:
arXiv:2610.03830v1 公告类型：新 摘要：在部分可观察的马尔可夫决策过程中，最优策略通常取决于观察的历史和过去的行动。当训练期间可以获得额外信息（例如环境的真实状态）时，非对称演员批评家方法已成为学习此类策略的流行方法。批评家在执行时不需要批评家，但可以访问国家。仅以国家为条件的批评者通常是不明确的，并且会产生有偏见的政策梯度。以国家和历史为条件，历史-国家批评家恢复了两者。在本文中，我们表明，以状态和政策自身记忆为条件的批评家，即政策选择其行为的历史的内部表示，已经被明确定义并给出无偏的政策梯度，从而消除了对历史的第二个循环近似器的需要。我们称之为记忆状态批评家。由此可见，基于政策记忆的批评者不需要将其损失反向传播到该记忆中，即使该记忆是历史的有损编码。我们在两种竞技场类型的两个四旋翼飞行器之间的基于视觉的追击逃避环境中评估记忆状态批评家。追捕者是学习代理，而逃避者是从固定的启发式行为池中每集进行采样的。结果表明，记忆状态批评家优于历史状态批评家，并且收敛速度更快。与仅限于国家的批评家相比，它除了不带偏见之外，还在围墙竞技场上保持了轻微的优势，演员的历史携带着特权国家所没有的信息。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱