半直接傅立叶 Delta 注意力：具有构造性块 WY 内核的相控 Delta 存储器

arXiv:2607.11897v1 公告类型：新 摘要：线性注意力用固定的循环状态取代了 softmax 注意力不断增长的 KV 缓存，但这种压缩限制了精确的状态跟踪和长上下文内存。我们引入 \emph{Semidirect Fourier Delta Attention} (SFDA)，它是 Kimi Delta Attention 的相控泛化，用块旋转傅里叶控制代替真正的对角线衰减： \[ S_t=(I-\beta_t k_tk_t^*)\Lambda_tS_{t-1}+\beta_tk_tv_t^*, \qquad \Lambda_t=\diag(\alpha_t\odot e^{i\theta_t})。 \] 我们的主要结果是对乘积 \(A_t=\Lambda_t-u_tr_t^*\) 进行建设性的 chunk-WY 分解，给出 \[ A_t\cdots A_1=\Gamma_t-Y_tM_tW_t^* \] ，其排名增长限制在固定块内。这产生了精确的仿射块传输、形式稳定性和复杂性界限，以及相位加低秩存储器的紧凑表征。我们对代数进行了数值验证，并在玩具状态跟踪实验中表明，SFDA 可以学习循环记忆，其中相位禁用的 KDA 基线仍然接近机会。融合内核和大规模语言模型比较留给未来的工作。