离线政策评估作为设计自适应实验的决策支持工具

arXiv:2609.30273v1 公告类型：新 摘要：我们研究如何使用固定随机实验（A/B 测试）的历史数据来通知基于上下文强盗的自适应实验的部署。鉴于在静态分配下收集的数据，我们的目标是评估哪些自适应策略（如果有的话）会在什么条件下优于原始设计。为此，我们将离策略评估（OPE）与受控热启动模拟相结合。根据记录的显示异质治疗效果的 A/B 测试数据，我们估计滋扰成分并使用双稳健估计器对预先指定的自适应和非自适应策略的组合进行排名。当地面真相可用时，我们在模拟器中部署相同的离线训练策略，重复使用精确的数据生成奖励概率，提供一个安全的、地面真相锚定的环境来研究热启动下的线下到线上的过渡。使用具有已知异质性结构和预言机策略的综合随机对照试验，我们的结果表明，当存在有意义的异质性时，自适应的、上下文感知的策略会改进固定分配，而在不存在异质性的情况下几乎没有带来什么好处。我们强化了我们对标准开放基准（Hillstrom、Criteo Uplift 和 LaLonde）的发现，并通过政策价值和后悔的角度进行了重新解释。总的来说，我们的结果提供了一种实用的方法来决定何时值得部署自适应实验以及如何使用现有的 A/B 测试数据在竞争性自适应策略中进行选择。