TurboMamba：更快的推理、更快的训练和更好的词汇记忆预测

arXiv:2610.20682v1 公告类型：新 摘要：我们介绍 TurboMamba，一种语言模型架构，可实现更快的推理、更快的训练和更好的标记预测。每个完成的代币块都会运行一次全局 Mamba-3 模型。小型 Transformer 使用此全局上下文和块中较早的标记来预测下一个标记。三个轻量级的添加改进了本地预测：直接访问前一个块的最后一个令牌，对下一个令牌分数进行小修正，以及学习最近令牌频率的混合。我们比较了公共 FineWeb-Edu 上的 12 个小规模实施，具有可比较的参数数量和共享的培训预算上限。基线包括 Transformer、Mamba-3、Jamba 和 Zamba。 Jamba 和 Zamba 版本使用 Mamba-3 代替原来的 Mamba 模块。 TurboMamba 在所有 12 个模型中实现了最低的平均测试预测损失（负对数似然，NLL）。其平均NLL比Mamba-3低9.4%，比Jamba版本低7.3%，比Zamba版本低18.3%。端到端训练吞吐量是 Mamba-3 的 2.60 倍、Jamba 版本的 2.81 倍、Zamba 版本的 4.82 倍。我们测量了一批 32 个序列的端到端批次延迟，每个序列都有 256 个令牌提示和 128 个生成令牌。在此工作负载上，TurboMamba 比 Mamba-3 实现了 3.12 倍的加速，比 Jamba 版本实现了 3.53 倍的加速，比 Zamba 版本实现了 6.21 倍的加速。