使用事先安装的扩散变压器进行 Thompson 采样

arXiv:2611.14656v1 公告类型：新 摘要：汤普森采样是一种以黑盒方式优化未知函数的自然随机策略。在连续全局优化中，汤普森采样在很大程度上仅限于高斯过程先验，因为这些本质上是计算后验分布在实践中易于处理的唯一类别。在这项工作中，我们引入了 \emph{先验拟合扩散变压器}，它们是在使用先验拟合网络范式进行预训练后在推理时在上下文中执行汤普森采样的扩散模型。为了应用这些模型，我们为一般黑盒函数开发了一组实用的非高斯先验——包括那些具有在高斯性下无法实现的特征的函数，例如单峰函数的先验。我们还量化了模型大小和预训练迭代次数之间的权衡，并表明这些模型遵循类似于在其他模态定义的 Transformer 中观察到的缩放定律。在一组全局优化基准中，我们表明，与基于高斯过程构建的传统管道相比，具有非高斯先验的先验拟合扩散变压器可以实现更高的性能。