Δ-Mem：大型语言模型的高效在线内存

计算机科学 > 人工智能 arXiv:2605.12357 (cs) [提交于 2026 年 5 月 12 日] 标题：$δ$-mem：大型语言模型的高效在线记忆 作者：Jingdi Lei , Di Zhang , Junxian Li , Weida Wang , Kaixuan Fan , Xian Liu , Qihan Liu , Xiaoteng Ma , Baiian Chen , Soujanya Poria 查看 PDF论文标题为 $\delta$-mem：大型语言模型的高效在线记忆，作者：Jingdi Lei 和其他 9 位作者 查看 PDF 摘要：大型语言模型越来越需要在长期助手和代理系统中积累和重用历史信息。简单地扩展上下文窗口的成本很高，并且通常无法确保有效的上下文利用。我们提出了$\delta$-mem，一种轻量级的记忆机制，它通过关联记忆的紧凑在线状态来增强冻结的全注意力主干。 $\delta$-mem 将过去的信息压缩到由 delta 规则学习更新的固定大小的状态矩阵中，并使用其读数在生成过程中对主干的注意力计算生成低秩校正。仅在 $8\times8$ 在线内存状态下，$\delta$-mem 将平均得分提高到冻结骨干网的 $1.10\times$ 和最强非 $\delta$-mem 内存基线的 $1.15\times$。它在内存密集型基准测试中取得了更大的进步，在 MemoryAgentBench 上达到了 1.31 美元\times$，在 LoCoMo 上达到了 1.20 美元\times$，同时在很大程度上保留了一般功能。这些结果表明，有效的记忆可以通过直接与注意力计算相结合的紧凑在线状态来实现，无需完全微调、主干替换或显式上下文扩展。主题：人工智能 (cs.AI) 引用为：arXiv:2605.12357 [cs.AI]（或此版本的 arXiv:2605.12357v1 [cs.AI]） https://doi.org/10.48550/arXiv.2605.12357 重点了解更多 arXiv 通过 DataCite 发布的 DOI（待注册）提交历史记录 发件人：Jingdi Lei [ 查看电子邮件 ] [v1] Tue, 12 May 2026 16:31:44 UTC (609 KB) 全文链接： Access Paper：查看标题为 $\delta$-mem: Efficient Online Memory for Large Language Models 的论文的 PDF，由 Jingdi Lei 和其他 9 位作者查看 PDF TeX 源代码 查看许可证 当前浏览上下文：cs.AI < prev |下一页 > 新 |最近 | 2026-05 更改浏览方式：cs 参考文献和引文 NASA ADS Google Scholar 语义学者导出 BibTeX 引文 正在加载... BibTeX 格式的引文 × 正在加载... 数据提供者： 书签 书目工具 书目和引文工具 书目浏览器 切换书目浏览器（什么是浏览器？） 关联论文 切换关联论文（什么是关联论文？） Litmaps 切换 Litmaps（什么是 Litmaps？） scite.ai 切换 scite 智能引文（什么是智能引文？） 与本文相关的代码、数据、媒体 代码、数据和媒体 alphaXiv 切换 alphaXiv（什么是 alphaXiv？） 链接到代码切换 CatalyzeX 论文代码查找器（什么是 CatalyzeX？） DagsHub 切换DagsHub （什么是 DagsHub？） GotitPub 切换 Gotit.pub （什么是 GotitPub？） Huggingface 切换 Hugging Face （什么是 Huggingface？） ScienceCast 切换 ScienceCast （什么是 ScienceCast？） 演示 演示 Replicate 切换 复制 （什么是 Replicate？） Spaces 切换 Hugging Face 空间 （什么是 Spaces？） 空间切换TXYZ.AI（什么是 TXYZ.AI？）相关论文推荐器和搜索工具链接到 Influence Flower Influence Flower（什么是 Influence Flowers？）核心推荐器切换 CORE 推荐器（什么是 CORE？）作者地点机构主题关于 arXivLabs arXivLabs：与社区合作者的实验项目 arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。 arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。您有一个能为 arXiv 社区增加价值的项目想法吗？了解有关 arXivLabs 的更多信息。这篇论文的哪些作者是认可者？ |禁用 MathJax（什么是 MathJax？）