具有双边信息不对称的上下文强盗监督博弈

arXiv:2607.00155v1 公告类型：新 摘要：我们研究当私人信息双向运行时人工智能代理的运行时人类监督：人类私下知道她的奖励函数，而人工智能私下知道它提出的行动的质量。当自主机器人或软件代理检查其人类主管无法直接评估的情况时，就会自然出现这种不对称性。基于合作逆强化学习（CIRL）和监督博弈，我们引入了一种具有两侧不对称信息和玩/询问/信任/监督界面的上下文强盗团队博弈。 bandit 结构消除了物理状态转换，从而产生了精确的一次性特征，这些特征在完整的 POMDP 设置中仍然是推测性的，尽管普遍的信念仍然是跨轮的动态控制状态。我们给出了两个一次性特征，一个团队最优和一个行为上自然的短视规则，其差距是一大堆可避免的伤害：人工智能私下知道拟议的行动是有害的，关闭会有所帮助，但一个短视的人类，相信她的先验，拒绝监督。我们证明了这一差距是不可信监督沟通的代价，并部分分析了它如何通过被动学习和主动信号传递以及一个周期滞后的监督响应在重复回合中动态解决。