用于高效分布学习的稀疏先验

摘要

arXiv:2609.20883v1 Announce Type: new Abstract: Despite the widespread use and success of generative AI techniques today, theoretical guarantees on learning a distribution supported in $d$ dimensions ...

the learning that and show under distribution prior are assumptions

2026-09-21 1 阅读约1分钟阅读 Saumya Goyal, Barnab\'as P\'oczos

arXiv:2609.20883v1 公告类型：新摘要：尽管如今生成式 AI 技术得到了广泛使用并取得了成功，但从 $n$ 样本中学习 $d$ 维度支持的分布的理论保证会降低为 $O(n^{-1/\Theta(d)})$，尽管被证明是极小极大最优。我们假设当前的界限过于悲观，因为平滑度假设不足以捕获实际应用中经常出现的分布结构。因此，我们引入稀疏先验类，并将“稀疏维度”定义为所有分布空间上先验稀疏性的度量。我们表明，$k$ 稀疏先验下的分布学习在常见距离度量下实现了 $\Omega(\sqrt{k/n})$ 的贝叶斯风险下界，并在温和的附加假设下显示了 TV 距离的匹配上限（在 $n,k$ 中渐近地达到对数项）。我们展示了贝叶斯设置中分布学习和采样学习的统计等价性，因此我们的结果也适用于采样学习。虽然 $k$ 仍然可以依赖于维度 $d$ 或内在维度的概念，但我们的结果表明，在适当的先验条件下学习克服了依赖于 $n$ 的维度灾难。

订阅66必读