智能AI
morning
查询知道要忘记什么：线性注意力的第二个擦除方向
摘要
arXiv:2608.13668v1 Announce Type: new Abstract: Linear attention keeps a state of fixed size. At long context, many stored items share this state, and interference between them degrades retrieval. Gat...
the
and
key
state
erase
query
context
interference
retrieval
every
2026-08-17
1 阅读
约1分钟阅读
Dhruman Gupta, Aritra Das, Debayan Gupta
字号:
arXiv:2608.13668v1 公告类型：新 摘要：线性注意力保持固定大小的状态。在长上下文中，许多存储的项目共享此状态，并且它们之间的干扰会降低检索性能。门控 DeltaNet-2 (GDN-2) 与之前的每个 delta 规则模型一样，从当前令牌的密钥导出其擦除向量。然而，其读取中的干扰是通过查询测量的，擦除步骤无法到达它。我们引入查询衍生擦除方向（QED）。 QED 添加了从查询导出并与密钥正交的第二擦除方向。在快速权重视图中，键定向的增量编辑无法更改读取的键正交部分。它使用可编辑部分来取消沿查询测量的旧状态内容。它还改进了超过训练窗口的每个长度的检索，并且使 S-NIAH-1 上的可用上下文长度增加了一倍。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱