Sim2Signal：交通信号控制的模拟到真实基准

arXiv:2609.01676v1 公告类型：新 摘要：强化学习在模拟中实现了强大的交通信号控制性能，但在模拟器中训练的策略一旦部署到现实世界中往往会失败，这种失败被称为“模拟与真实差距”。当强化学习应用于交通信号控制时，这种差距由多个来源产生：感知、动作执行、交通动态和控制目标。它们的相对影响和现有模拟到真实缓解方法的可靠性仍未得到充分了解，并且该领域缺乏系统衡量差距和评估缓解方法的标准基准。我们提出了 Sim2Signal，这是一个基准，它将 Sim-to-Real 差距分解为观察、行动、转换和奖励差距，对应于底层 MDP 四个组成部分的不匹配，并在共享协议下单独引入每个差距。我们在 2 个基础控制器上评估了 18 种缓解方法，涵盖 33 个间隙设置和从 5 个真实位置构建的 10 个校准网络。我们发现直接转移会持续降低所有四个差距来源的性能，但降低的严重程度并不能预测缓解的有效性。相反，缓解措施的有效性在很大程度上取决于网络和差距设置：在行动差距之外，在一种情况下有帮助的方法可能在另一种情况下会失败。最有效的方法通常是估计差距的变化，而不是通过域随机化或不变表示使策略变得不敏感。我们的代码位于 https://github.com/Red-Pheonix/Sim2RealTSCBenchMark