扩大注意力：具有固定数量的循环状态的线性时间变压器的泰勒级数路线

arXiv:2610.20637v1 公告类型：新摘要：我们将注意力的指数内核扩展为 $n$ 项的截断泰勒级数，并将每个项分解为张量幂内积，从而将因果历史折叠为恰好 $n$ 的循环状态，每个状态由每个标记的一个一级外积更新，并且与上下文长度 $N$ 无关。递归相对于截断的内核是无损的（float64 中为 $2.2 \times 10^{-16}$），并且状态在块之间是相加的（$5.7 \times 10^{-14}$），因此预填充允许并行扫描。 Softmax 的测量指数为 $t \propto N^{2.28}$，相对于状态的 $N^{0.91}​​$，交叉点为 $N \approx 728$ 和 $20.8\times$，$N = 8192$；对于 softmax，每个令牌的解码延迟相对于 $N^{1.04}$ 恒定为 $7.3\,\mu$s，在 $N = 65536$ 时为 $76.0\times$。精度以 $n$ 呈指数级提高，而成本以组合方式增长，因为第 $m$ 个状态是 $\binom{d+m-1}{m}$ 宽（由 SVD 确认的界限），因此最优值是二阶，$n = 3$，误差为 $6.5 \times 10^{-4}$，每个头有 $9{,}945$ 个元素。查询和密钥规范化是先决条件：没有它，参数就会超出收敛半径，并且添加项将不再有帮助。