使用有限库输入扭曲内核的无悔贝叶斯优化

arXiv:2609.02993v1 公告类型：新 摘要：高斯过程贝叶斯优化（GP-BO）擅长对昂贵函数进行黑盒优化，例如超参数优化（HPO）和多智能体系统（MAS）设计。选择方法存在收敛率保证，特别是 GP 置信上限 (GP-UCB)，但需要固定的内核。至关重要的是，内核对输入邻近度如何影响目标值相似度进行编码。当原始坐标与该几何形状不匹配时（如对数尺度超参数或局部峰值），输入扭曲可以极大地提高样本效率，但已知的 GP-UCB 证明需要固定的内核。我们提出有限库输入扭曲贝叶斯优化（FLIWBO），它通过任何依赖于历史的规则从平滑输入映射的有限库中选择扭曲。它调整输入几何形状以加速学习，同时在温和假设下保留高概率收敛保证，并具有明确的 $\sqrt(N_\varepsilon)$ 库大小成本。受控诊断表明，有限库翘曲修复植入的几何不匹配并识别 FLIWBO 故障案例。在四个重复的基准测试中——扭曲的合成目标、置信栅栏陷阱和 Fashion-MNIST HPO——FLIWBO-UCB 在错误指定的几何结构下击败了原始坐标 GP-UCB，逃脱了甚至击败了 oracle-warp 预期改进的陷阱，并恢复了手动日志缩放的大部分增益，同时领先承认匹配后悔保证的测试方法。 20 维 MAS 设计研究进一步证明了在昂贵的噪声评估下的可行性。实验代码可用：https://github.com/edvin-ketabati/bogp-paper-experiments。