智能AI
morning
在代理的价值函数中可视化世界模型
摘要
arXiv:2610.14186v1 Announce Type: new Abstract: Could model-free reinforcement learning algorithms actually be learning a model of the environment? In this work, we apply counterfactual interventions ...
the
model
learning
and
reinforcement
environment
value
function
that
arXiv
2026-10-14
1 阅读
约1分钟阅读
Shawheen Naderi, Fatemeh Akherati, Yubei Chen
字号:
arXiv:2610.14186v1 公告类型：新 摘要：无模型强化学习算法实际上可以学习环境模型吗？在这项工作中，我们应用反事实干预措施，除了有针对性的变化之外，还固定状态的所有内容，以探索近端策略优化代理的价值函数是否形成 Crafter 环境的世界模型。尽管只接受了优化奖励的训练，但我们发现价值函数学习了一些概念，例如管理钻石何时可收藏的规则、对健康有影响的水和食物、有关库存的启发法等等。最后，我们讨论了可视化的安全影响以及当前强化学习代理的一些缺点，这些缺点将阻止我们构建真正先进的机器智能。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱