首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

通过对抗性 MDP 中的方差感知策略优化改善遗憾

2026-11-16 1 阅读 约2分钟阅读 Ofir Schlisselberg, Alon Cohen, Yishay Mansour
分享:
字号:
arXiv:2611.17469v1 公告类型:新 摘要:我们研究具有未知动态和全信息奖励的情景对抗性 MDP,并通过主导项 $\widetilde O(\sqrt{H^3SAK})$ 实现遗憾。这里$H$是地平线,$S$是跨决策层的状态总数,$A$是动作数量,$K$是情节数量。这通过因子 $\sqrt{S/H}$ 和 $\sqrt{H^3}$ 改进了两个无可比拟的先验主导项,将因子 $\sqrt H$ 保留到下界范围。我们给出了 \emph{downstream-dependent} 算法从未知到已知动态的减少,其步骤 $h$ 的策略仅根据步骤 $h+1$ 及以后的信息计算。这减少了剩余的前序差距,以找到具有 $\widetilde O(H\sqrt K)$ 遗憾的下游相关已知动态算法,这将产生未知动态的紧 $\widetilde O(H\sqrt{SAK})$ 前导项。我们使用策略优化 (PO) 算法 VOPO 来实例化减少过程。其改进的保证源自一种新颖的奖金(我们称之为稳定性匹配奖金(SMB))启用的方差感知分析。 VOPO 在具有完整信息的已知动态下实现了 $\widetilde O(\sqrt{H^3K})$ 遗憾;它与目标 $H\sqrt K$ 率的 $\sqrt H$ 差距由我们的未知动态保证继承。我们还表明,利用已知的动力学和轨迹老虎机反馈,VOPO 实现了 $\widetilde O(\sqrt{H^2SAK})$ 遗憾。两种已知的动态保证都将相应的最先进的 PO 边界提高了 $\sqrt H$ 倍。匹配的下界确定在一个参数范围内全信息率是严格的。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱