智能AI
morning
HapBO:通过专家自然语言先验利用 $\alpha$-$\pi$ 贝叶斯优化
2026-11-20
1 阅读
约2分钟阅读
Jean-S\'ebastien Giroux, Rose Guay Hottin, Marco Bonizzato
字号:
arXiv:2611.25100v1 公告类型:新 摘要:当了解有关问题的先验知识时,贝叶斯优化 (BO) 可以显着提高样本效率。然而,在实践中,此类知识通常仅以自然语言形式提供,例如专家直觉或文档,而不是先验引导的 BO 方法可能需要的明确的概率分布景观。有效地利用它既需要从语言到先验的表达映射,又需要对可能误导的信息具有鲁棒性。我们提出 HapBO(利用 $\alpha$-$\pi$ 贝叶斯优化),它从人类专家、大型语言模型 (LLM) 或两者中引出一次信念,并确定性地将结构化规范编译为可重用的信念函数 ($\pi: \mathcal{X} \to[0,1]$),具有丰富的表示,不限于高斯族。 HapBO 建立在 $\alpha$-$\pi$BO 的基础上,通过有界正乘数对任何非负获取应用此置信函数,保留正获取支持并且在优化期间不需要 LLM 调用。我们证明,对于预期改进获取函数(EI),即使在对抗性信念下,HapBO 也能将标准简单后悔率保留到有限因子。我们在 40 个 HPOBench 任务、一个 6-15 维的综合套件和两个现实应用程序上评估 HapBO:皮质神经刺激和约束太阳能设计。 HapBO 实现了最低的 HPOBench 总遗憾和强大的现实世界任务性能,且循环内代币成本为零。在实际应用中,即使预算为 12-20 次查询,它也能提高优化结果,而挂钟和令牌成本只是其他基于 LLM 的方法的一小部分。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱