变形金刚直观解释

什么是变压器？ Transformer 是一种神经网络架构，从根本上改变了人工智能的方法。 Transformer 于 2017 年在开创性论文《Attention is All You Need》中首次被引入，此后成为深度学习模型的首选架构，为 OpenAI 的 GPT、Meta 的 Llama 和 Google 的 Gemini 等文本生成模型提供支持。除了文本之外，Transformer 还应用于音频生成、图像识别、蛋白质结构预测，甚至游戏，展示了其在众多领域的多功能性。从根本上来说，文本生成 Transformer 模型的运行原理是下一个标记预测：给定用户的文本提示，跟随此输入的最可能的下一个标记（单词或单词的一部分）是什么？ Transformer 的核心创新和强大之处在于它们使用自注意力机制，这使得它们能够比以前的架构更有效地处理整个序列并捕获远程依赖关系。 GPT-2 模型系列是文本生成 Transformer 的突出示例。 TransformerExplainer 由 GPT-2（小型）模型提供支持，该模型拥有 1.24 亿个参数。虽然它不是最新或最强大的 Transformer 模型，但它与当前最先进模型中的许多相同的架构组件和原理相同，使其成为了解基础知识的理想起点。 Transformer 架构 每个文本生成 Transformer 都包含以下三个关键组件： 嵌入：文本输入被分为称为标记的更小的单元，可以是单词或子单词。这些标记被转换为称为嵌入的数值向量，它捕获单词的语义。转换器块是处理和转换输入数据的模型的基本构建块。每个块包括： Attention Mechanism，Transformer块的核心组件。它允许标记与其他标记进行通信，捕获上下文信息和单词之间的关系。 MLP（多层感知器）层，一个对每个令牌独立运行的前馈网络。注意力层的目标是在 token 之间路由信息，而 MLP 的目标是细化每个 token 的表示。输出概率：最终的线性层和 softmax 层将处理后的嵌入转换为概率，使模型能够预测序列中的下一个标记。嵌入 假设您想使用 Transformer 模型生成文本。您添加如下提示：“数据可视化使用户能够”。该输入需要转换为模型可以理解和处理的格式。这就是嵌入的用武之地：它将文本转换为模型可以使用的数字表示。要将提示转换为嵌入，我们需要 1) 对输入进行标记，2) 获取标记嵌入，3) 添加位置信息，最后 4) 将标记和位置编码相加以获得最终嵌入。让我们看看每个步骤是如何完成的。图1。展开嵌入层视图，显示输入提示如何转换为矢量表示。该过程涉及 (1) 标记化、(2) 标记嵌入、(3) 位置编码和 (4) 最终嵌入。步骤 1：标记化 标记化是将输入文本分解为更小、更易于管理的片段（称为标记）的过程。这些标记可以是单词或子单词。 “数据”和“可视化”一词对应于独特的标记，而“授权”一词则分为两个标记。令牌的完整词汇表在训练模型之前确定：GPT-2 的词汇表有 50,257 个唯一令牌。现在我们将输入文本分割成具有不同 ID 的标记，我们可以从嵌入中获取它们的向量表示。步骤 2. Token Embedding GPT-2（小）将词汇表中的每个 token 表示为 768 维向量；向量的维度取决于模型。这些嵌入向量存储在形状为 (50,257, 768) 的矩阵中，包含大约 3900 万个参数！这个广泛的矩阵允许模型为每个标记分配语义，即语言中具有相似用法或含义的标记在这个高维空间中靠近放置，而不同的标记则相距较远。步骤 3. 位置编码 嵌入层还对输入提示中每个标记的位置信息进行编码。不同的模型使用不同的位置编码方法。 GPT-2 从头开始​​训练自己的位置编码矩阵，并将其直接集成到训练过程中。步骤 4. 最终嵌入 最后，我们对 token 和位置编码求和以获得最终的嵌入表示。这种组合表示捕获了标记的语义及其在输入序列中的位置。 Transformer Block Transformer 处理的核心在于