语言模型需要睡眠

计算机科学 > 计算和语言 arXiv:2605.26099 (cs) [提交于 2026 年 5 月 25 日] 标题：语言模型需要睡眠 作者：Sangyun Lee、Sean McLeish、Tom Goldstein、Giulia Fanti 查看由 Sangyun Lee 和其他 3 位作者撰写的题为“语言模型需要睡眠”的论文的 PDF 查看 PDF HTML（实验） 摘要：基于 Transformer 的大型语言模型越来越多地用于长期任务；然而，他们的注意力机制与上下文长度的关系很差。为了解决这个问题，我们研究了一种类似睡眠的整合机制，其中模型在清除其键值缓存之前定期将最近的上下文转换为持久的快速权重。在睡眠期间，模型对累积的上下文执行 $N$ 离线循环传递，并通过学习的本地规则更新其状态空间模型 (SSM) 块中的快速权重。在推理过程中，这会将额外的计算转移到睡眠状态，同时保留唤醒时间预测的延迟。我们在受控合成任务上测试我们的方法，包括细胞自动机和多跳图检索，以及现实的数学推理任务，在这些任务上常规变压器和 SSM-注意力混合模型都失败了。然后，我们表明，增加模型的睡眠持续时间 $N$ 可以提高性能，在需要更深入推理的示例中收益最大。科目：计算和语言（cs.CL）；人工智能 (cs.AI) 引用为：arXiv:2605.26099 [cs.CL]（或此版本的 arXiv:2605.26099v1 [cs.CL]） https://doi.org/10.48550/arXiv.2605.26099 重点了解更多 arXiv 通过 DataCite 颁发的 DOI（待注册） 提交历史记录发件人：Sangyun Lee [ 查看电子邮件 ] [v1] Mon, 25 May 2026 17:55:39 UTC (319 KB) 全文链接： Access Paper：查看由 Sangyun Lee 和其他 3 位作者撰写的名为 Language Models Need Sleep 的论文的 PDF 查看 PDF HTML（实验性） TeX 源代码 查看许可证 当前浏览上下文： cs.CL < 上一页 | 上一页 | 下一页下一页 > 新 |最近 | 2026-05 更改为浏览方式：cs cs.AI 参考文献和引文 NASA ADS Google Scholar 语义学者导出 BibTeX 引文 正在加载... BibTeX 格式的引文 × 正在加载... 数据提供者： 书签 书目工具 书目和引文工具 书目浏览器 切换书目浏览器（什么是浏览器？） 已连接论文 切换已连接论文（什么是已连接）论文？ ) Litmaps 切换 Litmaps（什么是 Litmaps？） scite.ai 切换 scite 智能引文（什么是智能引文？） 与本文相关的代码、数据、媒体 代码、数据和媒体 alphaXiv 切换 alphaXiv（什么是 alphaXiv？） 代码链接 切换 CatalyzeX 论文代码查找器（什么是 CatalyzeX？） DagsHub 切换 DagsHub (什么是 DagsHub？) GotitPub 切换 Gotit.pub (什么是 GotitPub？) Huggingface 切换拥抱面 (什么是 Huggingface？) ScienceCast 切换 ScienceCast (什么是 ScienceCast？) 演示 演示 复制 切换复制 (什么是复制？) Spaces 切换拥抱面 空间 (什么是空间？ ) 空间 切换 TXYZ.AI（什么是 TXYZ.AI？） 相关论文推荐器和搜索工具 链接到 Influence Flower Influence Flower（什么是 Influence Flowers？） 核心推荐器切换 CORE 推荐器（什么是 CORE？） 作者地点 机构 主题 关于 arXivLabs arXivLabs：与社区合作者的实验项目 arXivLabs 是一个允许合作者开发和共享新 arXiv 的框架直接在我们的网站上提供功能。与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。 arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。您有一个可以为 arXiv 社区增加价值的项目想法吗？了解有关 arXivLabs 的更多信息。这篇论文的哪些作者是认可者？ |禁用 MathJax（什么是 MathJax？）