开发者生态
morning
潜在格语言模型
2026-11-18
1 阅读
约6分钟阅读
E-Reverance
字号:
摘要 语言模型通常通过更深或循环层和潜在推理步骤来增加每个标记的计算,而更丰富的残差连接则改善跨层的信息流。相反,我们增加了计算能力:模型维护的活动计算状态的数量。我们引入了潜在网格,这是一组沿着时间循环运行的每层水平潜在流,以及流过深度的垂直残余流。与超连接、mHC 以及注意力或价值残差一样,格子增强了残差流,但它不是通过深度添加或重新路由残差路径,而是提供跨令牌持续存在的伴随计算状态。与混合 Transformer-SSM 架构不同,混合 Transformer-SSM 架构的循环状态主要充当序列混合的内部存储器,这些潜在变量直接调节垂直流的注意力、KV 缓存写入、MLP 计算和解码。在使用 20B FineWeb-Edu 代币训练的 Transformer 上,与参数匹配的 Transformer 相比,406M 参数的 Lattice 模型将验证困惑度从 15.41 降低到 14.40。这些收益延伸到了不同的架构变体。 Lattice 与先前的残差流增强功能相结合:通过超连接和输入残差,它将验证困惑度从 15.41(基础 Transformer)和 14.22(具有相同增强功能的 Transformer)降低到 13.61。在门控 DeltaNet、Mamba-2、Triadic GDN 和 GDN-Mamba-2 混合体上,它改善了每个测试的原生状态大小的困惑度,Lattice-GDN 和 Lattice-Triadic-GDN 变体的性能优于具有 4 倍大原生状态的纯基线。这些结果将持久的每层状态确定为扩展语言模型计算的补充轴。潜在网格 垂直剩余流流过深度;横向潜伏在代币之间持续存在。在训练和推理之间切换,并比较模型。训练推理 标准 Transformer Latent Lattice LM (LLLM) LLLM + Jacobi Refiner 输入注入烧蚀 已暂停 · 单击播放 单击图形暂停。输入注入可随时开启或关闭;动画从同一点继续。结果 主要结果的交互式版本。将鼠标悬停在任何条形或点上以获取详细信息。 20B-token 预训练 LLLM (d model , d r ) 后的语言建模具有垂直残差流宽度 d model 和水平潜在宽度 d r 。查看困惑度、参数与推理 GFLOP/token 转换器 LLLM(单通道)LLLM + Jacobi 精化器 (J3) GFLOP/token:每个 token 的浮点运算,不包括注意力分数(仅添加 ≈ 0.1 GFLOP/token)和嵌入查找。 J3进行三扫;它的顺序推出在推理时使用单遍(单击“显示完整表”以获取结果)。显示完整表格 扩展预训练标记:10B → 20B → 30B 随着训练的继续,FineWeb-Edu 验证困惑度。圆圈面积与参数数量成正比。两个 LLLM 均仅使用 22 层,而 Transformer 40L 则使用 40 层,因此在相同的注意力宽度 (1024) 下,它们的 KV 缓存要小 45%。 Lattice of Latents 与之前的残差流增强 400M 模型、20B FineWeb-Edu 代币。点阵模型将垂直宽度从 1024 缩小到 932 以保持等参数。首先出现 Transformer 及其单一增强功能,然后是 Lattice 及其单一增强功能,最后是两种增强功能的组合。变压器变体 晶格变体(我们的) HC:超连接; mHC:流形约束 HC; value:残差值(ResFormer;单次 +value 运行的学习权重,在 x0 + 值中固定为 0.5); x0:nanochat 风格的输入残差。解构晶格 硬机制:垂直残余流被压缩到 256 维。按“播放”一次添加一个水平更新增强功能,然后观看它们恢复全宽 Transformer 的大部分间隙。 10B 代币预训练。 ← 上一页 下一页 → 显示全部 ▶ 播放 + 添加组件; ↻ 代替 1。参数计数显示在每个条形下方。纯循环骨干与 Lattice 循环模型(∼405M 参数,10B FineWeb-Edu 代币)跨每个混合器的本机状态大小。每个格模型与其纯模型都是等参数的。条形从最高到最低的困惑度出现,每个条形都处于其状态大小的位置。 Mamba2 GDN Triadic GDN GDN–Mamba2 混合 ↻ 回放 显示全部 纯骨干 + 晶格(我们的) 本机状态大小对每个混合器的循环内存条目进行计数(1K = 1024 标量),不包括水平潜在状态和卷积状态。点阵模型使用输入注入+vstream。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱