通过输入相关长卷积的本机多维次二次算子

arXiv:2607.19378v1 公告类型：新摘要：在应用于多维数据时，注意力的次二次替代方案需要妥协：标准卷积缺乏全局感受野和输入依赖性，而循环模型需要将图像、体积和偏微分方程（PDE）等数据光栅化为违反其空间结构的临时 $1\rm D$ 扫描顺序。我们引入了 \textit{HyenaND}，一个次二次、全局、依赖于输入的算子，它通过与隐式参数化全局、依赖于输入的多维卷积核的卷积直接作用于多维数据的本机几何结构。我们的 CUDA 实现 \texttt{nSubQ} 融合了 FFT 卷积路径，将 HyenaND 的 $\mathcal{O}(L \log L)$ 缩放转化为挂钟加速。在长上下文基因组学、计算机视觉、医学成像和 PDE 建模中，纯 HyenaND 堆栈与强注意力基线的准确性相匹配，而交错 HyenaND 和注意力层的混合配置优于纯注意力和基于强循环的混合配置。