Jet-Long：利用动态双焦点 RoPE 进行高效的长上下文扩展

arXiv:2607.07740v1 公告类型：新 摘要：现代 LLM 越来越多地部署在长上下文应用中，例如检索增强生成、存储库级编码和代理工作流程，其累积的推理和工具跟踪通常会将输入推到预训练窗口之外的数量级，从而使零样本上下文扩展成为开放权重检查点的主要部署路径。大多数现有的零样本方法都会预先修复单个缩放因子，因此激进的因子会牺牲短上下文保真度，而保守的因子会在长上下文中崩溃。我们提出了 Jet-Long，一种免调整的零样本方法，它将本地 RoPE 忠实窗口与远程窗口配对，其缩放因子动态适应当前序列长度，在短输入处精确恢复基本模型，同时在长输入处干净地外推。包含排除注意力合并和动态 RoPE 校正旋转使双焦点结构基本上可以自由推理；融合到单个 CuTe 内核中，长上下文预填充在 H100 上达到 $1.39\times$ FA2 吞吐量（接近仅 Hopper 的 FA4），并且单批次生成在每个长度上都会产生 $\le 4\%$ 开销。在 Qwen3-1.7B/4B/8B 高达 128K 的上下文中，Jet-Long 在 1.7B/4B/8B 的最强基线上以 $+4.79$/$+2.18$/$+2.03$~pp 领先 RULER，在 HELMET-RAG（HELMET 确定的基准，下游长上下文性能最有效的预测器）上实现了最佳总体准确率，并达到最低PG-19 困惑。 Jet-Long 还推广到混合注意力架构，例如 Jet-Nemotron，无需重新训练即可进一步改进长上下文，并保持超参数弹性以易于部署。