通过利用进行探索：个性化联邦强化学习中奖励多样性的祝福

摘要

arXiv:2611.12964v1 Announce Type: new Abstract: While federated reinforcement learning (RL) has traditionally guaranteed high efficiency in homogeneous environments, collaboration is often hindered wh...

exploration that reward explicit diversity learning this Personalized Federated Value

2026-11-11 1 阅读约1分钟阅读 Jiin Woo, Gauri Joshi, Yuejie Chi

arXiv:2611.12964v1 公告类型：新摘要：虽然联邦强化学习 (RL) 传统上保证了同质环境中的高效率，但当智能体拥有不同的目标时，协作往往会受到阻碍。在本文中，我们翻转了这种范式，将奖励异质性视为一种促进探索的结构性资产，而不是达成共识的障碍。我们首先提出个性化联合上置信界值迭代（PF-UCBVI），它通过将共享动态与个性化目标解耦来实现最佳线性加速。为了消除显式探索的风险，我们引入了个性化联邦无探索价值迭代（PF-EFVI），这是一种纯粹的贪婪算法，利用奖励多样性来确保状态动作覆盖。我们证明，在足够的奖励多样性下，PF-EFVI 在没有明确的探索奖励的情况下获得了对数遗憾。我们的结果表明，代理分歧将探索负担从时间复杂性转移到空间多样性，从而无需明确的探索即可实现高效的集体学习。

订阅66必读