不断增长的非参数神经网络中以检索为中心的深度学习

arXiv:2610.03858v1 公告类型：新 摘要：我们研究了一种用于深度学习的通用层，该层不是将任意大小的训练数据压缩为固定大小的权重矩阵，而是在训练期间为每个数据点存储一对新的键值表示，并在推理时通过注意机制检索和重新组合这些表示 - 从而产生不断增长的神经网络 (NN)。而 Irie 等人。 （arXiv:2202.05798）从经典对偶性出发提出了这一观点，将通过梯度下降训练的深度神经网络中的任何线性层表示为训练数据点上的线性注意力（LA），用更强大的注意力函数取代 LA，正如他们所建议的，结果证明是不平凡的：我们表明，天真地将 LA 案例中的学习规则应用于高级内核并不会导致有原则的优化。在这里，我们填补了这一空白，并基于径向基函数（RBF）和类似 softmax 的内核，为内核化注意力层开发了基于函数梯度的学习规则 - 建立了有原则的“以检索为中心的深度学习”（RCDL）范式。根据经验，我们证明了 RCDL 在图像分类和师生综合学习任务上的良好性能和学习效率。此外，我们表明，用先进的 LA 变体（即 MesaNet/DeltaNet）替换神经网络对偶形式的 LA，可以与最近提出的传统固定大小神经网络优化器建立正式连接，为深度学习优化提供了新的视角。