无限参数法学硕士：根据实时数据生成和调整权重

计算机科学 > 人工智能 arXiv:2609.18842 (cs) [提交于 2026 年 9 月 16 日] 标题：无限参数法学硕士：从实时数据生成和调整权重 作者：Jinli Hu 、 Ross M. Clarke 、 Yichuan 张 、 José Miguel Hernández-Lobato 查看题为“无限参数法学硕士：生成和调整”的论文的 PDF来自实时数据的权重，作者：Jinli Hu 和其他 2 位作者 查看 PDF HTML（实验） 摘要：缩放定律认为，语言模型会随着更多参数和更多训练数据而变得更加强大，而专家混合 (MoE) 架构已经利用这些定律取得了显着的成果，只为每个标记激活了巨大的存储参数库的一小部分。这一成功建立在静态预训练数据的基础上。部署的模型面临着一个不同的世界，其中使其更有用的大部分数据不在其训练集中，而是在其当前正在处理的实时交互中，例如用户提供的事实或他们给出的更正。传统模型无法从这些数据中学习，因为其权重在训练后被冻结。相反，在运行时提供的知识和行为通过检索或指令放置在提示中，并在每个请求上重新读取，仅在请求结束后才被丢弃。我们询问架构如何通过将实时交互写入其权重来学习。受到 MoE 的启发，我们提出了 \textbf{无限参数 LLM}。紧凑的超网络将运行时给出的数据转换为共享基础网络的低阶调制，因此前馈权重是从实时数据生成的，而不是存储在固定的库中。在先前的权重生成器读取上下文一次并冻结的情况下，我们对生成器的潜在代码进行贝叶斯信念并在线更新它，因此有效权重是随着会话的进行而从不断变化的信念中重新得出的，而不是在一次读取后固定。存储的足迹保持固定，但模型可以编译的权重实际上是无限的。对于运行时提供的知识和行为，将它们放入权重而不是提示中，在计算中摊销，释放上下文窗口，跨轮持续存在，并且可以比上下文中使用更好地概括。我们指定了一个评估协议，可以根据上下文学习和检索来准确测试这一点。主题：人工智能（cs.AI）；机器学习 (cs.LG) 引用为：arXiv:2609.18842 [cs.AI]（或此版本的 arXiv:2609.18842v1 [cs.AI]） https://doi.org/10.48550/arXiv.2609.18842 arXiv 通过 DataCite 发布的 DOI（待注册） 提交历史记录 来自：Jinli Hu Dr [ 查看电子邮件 ] [v1] 星期三，2026 年 9 月 16 日 15:49:34 UTC (50 KB) 全文链接：访问论文：查看 Jinli Hu 和其他 2 位作者题为“无限参数法学硕士：从实时数据生成和调整权重”的论文的 PDF 查看 PDF HTML（实验性）TeX 源代码查看许可证 当前浏览上下文：cs.AI < 上一页 | 下一页下一页 > 新 |最近 | 2026-09 更改为浏览方式：cs cs.LG 参考文献与引文 NASA ADS Google Scholar 语义学者正在加载... BibTeX 格式的引文正在加载... 数据提供者： 书签 书目工具 书目和引文工具 书目浏览器 切换书目浏览器（什么是浏览器？） 已连接论文 切换已连接论文（什么是已连接论文？） Litmaps切换 Litmaps（什么是 Litmaps？）scite.ai 切换 scite 智能引文（什么是智能引文？）与本文相关的代码、数据、媒体代码、数据和媒体 alphaXiv 切换 alphaXiv（什么是 alphaXiv？）代码链接 切换 CatalyzeX 论文代码查找器（什么是 CatalyzeX？） DagsHub 切换 DagsHub (什么是 DagsHub？) GotitPub 切换 Gotit.pub (什么是 GotitPub？) Huggingface 切换 Hugging Face (什么是 Huggingface？) ScienceCast 切换 ScienceCast (什么是 ScienceCast？) 演示 演示 Replicate 切换 复制 (什么是 Replicate？) Spaces 切换 Hugging Face 空间 (什么是 Spaces？) Spaces 切换TXYZ.AI（什么是 TXYZ.AI？）相关论文推荐器和搜索工具链接到影响花影响花（什么是影响花？）核心推荐器切换核心推荐器（什么是核心？）作者场地机构主题关于 arXivLabs arXivLabs：与社区合作者的实验项目 arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。 arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。您有一个能为 arXiv 社区增加价值的项目想法吗？了解有关 arXivLabs 的更多信息。这篇论文的哪些作者是认可者？ |禁用 MathJax（什么是 MathJax？）