GitHub 热门项目：MSA

GitHub 项目：MSA 仓库地址：https://github.com/EverMind-AI/MSA 星级：3516 | 作者：EverMind-AI 项目描述：Memory Sparse Attention - 适用于 100M 令牌上下文的可扩展、端到端可训练潜在记忆框架。 =================================================== 自述文件内容： # MSA：内存稀疏注意力 *适用于 100M 代币上下文的可扩展、端到端可训练潜在记忆框架* [**arXiv**](https://arxiv.org/abs/2603.23516) • [**Zenodo**](https://zenodo.org/records/19103670) [](https://huggingface.co/EverMind-AI/MSA-4B) [](https://opensource.org/licenses/MIT) [](https://github.com/EverMind-AI) [](https://github.com/EverMind-AI/everos) [中文](./README_ZH.md) ## 📝 摘要 长期记忆对于一般智力至关重要，但**全注意力**瓶颈将大多数法学硕士的**有效上下文长度**限制为**128K–1M**。现有的尝试，混合线性注意力、固定大小的状态记忆（例如 RNN）以及像 **RAG/agents** 这样的外部存储，要么在极端规模下遭受快速精度衰减和延迟增长，要么缺乏端到端可微性或动态内存维护，要么需要复杂的管道。我们提出**内存稀疏注意力（MSA）**：一个**端到端可训练、可扩展的稀疏** **潜在状态内存**框架。核心思想包括： - **可扩展的稀疏注意力** + **文档级 RoPE**（并行/全局）在训练和推理中实现**近线性复杂性**； - **KV 缓存压缩**，具有 **内存并行** 推理引擎，可在 **2×A800** GPU 上提供 **100M 令牌** 吞吐量； - **内存交错**，用于跨分散内存段的多轮、多跳推理。 在长上下文 QA 和 NIAH（大海捞针）基准测试中，**MSA** 超越了同骨干 RAG、同类最佳的 RAG 堆栈和领先的长上下文模型。在前所未有的**16K→100M 令牌**范围内，MSA 显示**< 9%** 退化，这表明了一条**将内存容量与推理分离**的实用路径。 > **从 16K→100M 令牌扩展**：MSA 将 top-k 选择与稀疏注意力融合在一起，以保持端到端可微分，同时允许推理时文档解耦。在 MS MARCO 上，MSA 持续 **<9%** 退化并表现出很强的外推能力。 > *一些基线曲线由于其上下文限制而提前结束。*  *图 1：超长上下文下的 MSA 可扩展性* --- ## ✨ 主要贡献 - **内存稀疏注意力（MSA）**：一个**端到端可训练**、**可扩展稀疏注意力**层，具有**文档级RoPE**，实现**O(L)**复杂性和**<9%**从**16K→100M令牌**的退化。 - **KV 缓存压缩 + 内存并行**：分层存储（GPU 驻留路由密钥、CPU 内容 K/V）、分布式评分和按需传输，以在 **2×A800** 上启用 **100M 令牌** 推理。 - **内存交错**：自适应交替“生成检索→上下文扩展→生成”，显着