Dropout 神经网络的逼近性质：Sobolev 率和置信界

arXiv:2610.02253v1 公告类型：新 摘要：dropout 神经网络的万能逼近性质本身并不能描述精确随机实现所需的网络大小。在这项工作中，我们研究了通过 ReLU 网络对 $W^{n,\infty}([0,1]^d)$ 单位球的近似，该网络的边以 $p$ 的概率独立保留。近似误差在输入域上统一测量，并且对于单个采样网络，保证的概率至少为 $1-\delta$。我们构建恒定深度和大小的网络 $\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/\delta))$。该构造结合了有界局部子网络、成功逼近事件的定位以及多尺度泰勒分解。相反，Sobolev 容量对幸存边的数量施加了下限，而固定仿射函数的近似需要在足够高的置信度下输出层成本为 $((1-p)/p)\varepsilon^{-2}\log(1/\delta)$。对于固定的 $p\in(0,1)$ 和 $\delta<\min\{1/2,1-p\}$，在固定或对数深度预算下，准确度指数的上限和下限匹配。当 $d\leq2n$ 时，它们的置信度也匹配到准确度的对数。我们将下限扩展到 $W^{n,r}$ 目标，并产生 $L^s$ 错误，并将此扩展与 $W^{n,\infty}$ 的上限区分开来。最佳保留依赖性和对数因子仍然悬而未决。