了解现代法学硕士中的位置嵌入

本文通过介绍 RoPE 等经典和现代方法，解释了法学硕士如何编码和处理代币位置信息。这本质上是一个全面的旅程，我们将通过视觉示例、一些数学知识和小型 PyTorch 实现来了解这些机制。当然，我们还将研究现代架构如何适应或省略显式位置编码。您可以在下面预览 2026 年开放权重模型中使用的位置嵌入选项。我们将在介绍基本机制后讨论这些选择。图 1：画廊 2026 年架构的预览，按位置编码分组。建筑人物取自我的法学硕士画廊。但为什么要花这么多时间来写/读这个相当小的构建块呢？ LLM 不断发展，当我今年准备一篇关于最新 LLM 架构趋势的新文章时，我意识到迄今为止我从未在任何文章中介绍过 LLM 中使用的位置信息方法。因此，我认为，与其让另一篇文章失控，不如将其作为即将推出的法学硕士架构和趋势分析的独立构建块来发布。此外，多年来，许多读者向我索要有关相对位置嵌入（又名 RoPE）的教程，以跟进 GPT 中使用的学习到的绝对嵌入。它已经在我的待办事项清单上很长一段时间了，所以我最终重新审视了我的旧草稿，并将这篇演练放在一起，其中将涵盖法学硕士中的不同职位方法； （最后）RoPE 的工作原理；最近开放的法学硕士使用什么方法。请注意，本文假设您对基本的 LLM 架构有一定的了解，并且可以作为构建大型语言模型（从头开始）的后续内容。如果注意力内部的概念和计算，特别是查询、键和值向量，有点模糊，我建议检查我的自注意力演练作为复习：这篇文章也非常技术性，对某些人来说可能过于详细。然而，我真的很想有这个基础，供以后的文章参考。不用担心，下一件会恢复到更舒适的风格。 PS：我开始尝试 Substack 的新“福利”系统。为了感谢支持者，我添加了来自建筑库的图像导出和元数据，供您在自己的分析中使用。 PPS：如果您已经熟悉位置嵌入的工作原理，请随时快进到第 6 节，现代架构中的位置选择。请注意，在网络浏览器中阅读本文可能比在电子邮件客户端中阅读效果更好。我建议查看此处的网络视图，它的左侧也有一个导航栏。我们先从整体架构开始。标记生成器将输入文本编码为标记 ID。接下来，LLM 的输入标记嵌入层将每个 ID 映射到数字向量。我们通常将该向量中的这些条目称为“特征”（类似于经典的机器学习）。然后，LLM 内的转换器模块使用注意力层和前馈层修改这些向量。最后，模型的输出层为下一个标记生成 logit 分数（转换为概率）。下面展示了 GPT-2（相对经典的 LLM）和 MiniMax-M3（今年发布的较新的 LLM；大多数其他近期 LLM 的占位符）中的这条路径。正如我们所看到的，这些架构彼此之间并没有太大的不同，但在我们讨论位置信息部分之前，让我们现在关注橙色块（令牌嵌入层）和它们上面的转换器块；此解释不需要其他架构差异。图 2：GPT-2 和 MiniMax-M3 中的令牌嵌入层，以橙色突出显示。 （旁注：M3 的 60 个前馈层中的前三个是密集的，而不是 MoE。）如上图所示，令牌嵌入层将每个令牌 ID 映射到一个向量。然后添加位置信息。具体来说，正如我们稍后将更详细讨论的那样，GPT-2 在修改后的嵌入进入第一个 Transformer 块之前向每个标记嵌入添加一个位置向量。另一方面，MiniMax-M3 使用称为 RoPE 内部注意力的方法在每个变压器块中添加位置信息。我们稍后将更详细地讨论这些方法，但首先，让我们从大局信息开始，解释为什么添加或需要显式位置信息。将以下两个输入句子视为一个简单的示例：“红狐跳过灰狐。” “灰狐狸跳过红狐狸。”更改词序会改变哪只狐狸跳跃，如下图所示。图 3：改变词序会改变哪只狐狸会跳。对于本文中的示例，为了简单起见，我们将把每个单词视为一个标记。 （如您所知，真正的分词器可以将单词拆分为更小的子词标记。）第一个句子有 8 个标记位置，从 0 到 7。 图 4：Tok