智能AI
morning
\chisao{}:通过收敛-反收敛振荡实现多模态黑盒函数的 GPU 原生并行优化器
2026-06-26
1 阅读
Ira Wolfson
arXiv:2606.26164v1 公告类型:新 摘要:查找多模态黑盒函数的所有模式是优化、贝叶斯推理和科学计算中的基本挑战。现有方法——盆地跳跃、CMA-ES、多起点梯度下降——按顺序运行,无法利用现代 GPU 硬件的大规模并行性。我们引入了 \chisao{} (\textbf{C}onvergence-\textbf{H}alt-\textbf{I}nvert-\textbf{S}tick-\textbf{A}nd-\textbf{O}scillate),这是一种 GPU 原生群体优化器,它同时运行整个样本批次,并利用故意的收敛-反收敛振荡周期来逃避局部陷阱,同时冻结确认模式。结构移动是不对称的:达到真正峰值的样本被冻结(“卡住”)并保存,而其余样本则通过基于动量的反收敛和随机平滑梯度继续探索。通过两种互补策略(反击猴和金鸡)进行适应性重新播种,始终保持种群多样性。在西蒙弗雷泽大学跨维度 $d \in \{2, 4, 8, 16, 32, 64\}$ 的所有 42 个函数上,\chisao{} 实现了 \textbf{100\%} 模式恢复,其中所有 CPU 基线在最困难的多模态函数上在 $d \geq 8$ 处崩溃,在所有函数上的盆地跳跃相比,加速高达 \textbf{$34\times$}方法成功(Michalewicz $d=64$)并且在单峰函数上达到 \textbf{$39\times$} (旋转超椭圆体 $d=64$,纯 GPU 红利)。所有基准仅通过值来评估目标(梯度来自有限差异),因此报告的加速是无导数的最坏情况。在大量似然噪声($\sigma_{\mathrm{noise}}$ 高达 1.0)下,模式检测仍然 100\% 可靠。该算法可作为 PyPI 上的独立开源 Python 包使用。