正则化中心强调时间差异学习

arXiv:2605.04100v1 公告类型：新 摘要：采用函数逼近的离策略时间差分 (TD) 学习面临稳定性、投影几何和方差控制之间的结构性权衡。强调 TD (ETD) 通过后续强调改进了离策略投影几何，但后续轨迹可能具有较高的方差。我们通过贝尔曼误差中心重新审视这种权衡。尽管居中自然地消除了 TD 误差中的常见漂移项，但我们表明，朴素的居中强调扩展引入了辅助耦合，可以破坏 ETD 关键矩阵的正定性。我们提出\emph{正则化强调时间差分学习}（RETD），它保留后续轨迹并仅正则化辅助中心递归，对应于将耦合键矩阵的右下块从\(1\)提升到\(1+c\)。我们推导了 RETD 核心矩阵，证明了在保守的充分正则化条件下的收敛性，并评估了该方法在诊断线性离策略预测任务上的性能。实验表明，RETD 避免了朴素中心强调学习的不稳定性，保留了有利的强调几何形状，并在整个诊断过程中为正则化参数 \(c\) 显示了一个强大的中间机制。