智能AI
morning
潜在技能奖励:法学硕士指导的分层强化学习奖励制定
2026-11-17
1 阅读
约1分钟阅读
Maryam Shoaeinaeini, Brent Harrison
字号:
arXiv:2611.18597v1 公告类型:新 摘要:稀疏和延迟反馈下的长视野强化学习仍然是一个开放的挑战。现有的回报分解方法重新分配情景奖励以简化信用分配,但它们在原始状态-动作转换上进行操作,并且忽略了控制复杂任务中有意义的进展的子目标结构。我们提出了 Skill-LR,这是一种分层强化学习框架,其中视觉语言模型识别智能体在每个时间步的主动子目标,并且大型语言模型通过两阶段提示过程生成匹配的潜在奖励公式。通过根据当前活动的子目标调节奖励信号,Skill-LR 会产生随分层计划一起发展的阶段特定信用,从而减少时间方差并提高样本效率。在包括 DoorKey 和 Unlock-to-Unlock 在内的多阶段 MiniGrid 和 BabyAI 基准测试中,Skill-LR 比稀疏环境奖励和强大的信用分配基线(例如 RUDDER 和 LaRe)收敛得更快、更可靠,这表明与子目标一致的潜在奖励为长期任务中稳定、可解释的信用分配提供了一条原则性路径。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱