GitHub 热门项目：电子表格就是您所需要的

GitHub 项目：电子表格就是你所需要的 仓库地址：https://github.com/dabochen/spreadsheet-is-all-you-need 星级：2159 | 作者：大博臣 项目描述：电子表格中的 nanoGPT 管道 =================================================== 自述文件内容： # 电子表格就是您所需要的（添加了 Excel 版本！） **封装在电子表格中的 nanoGPT 管道** 这是我为了帮助自己了解 GPT 工作原理而做的一个项目。
玩起来非常有趣，特别是当您试图弄清楚变压器内部到底发生了什么时。
这帮助我可视化整个结构和数据流。
里面的所有机制、计算、矩阵都是完全交互式和可配置的。
在阅读法学硕士时，我意识到变压器的内部机制基本上是一系列按一定顺序连接的矩阵计算。
我开始想知道整个过程是否可以在电子表格中表示，因为所有计算都相当简单。 我是一个视觉思考者，我想不出更好的方法来做到这一点。 然后，经过一些试验和错误，我将 nanoGPT 架构的完整推理管道写入到一个电子表格中。
忘记Python吧，事实证明**电子表格就是你所需要的**。 **这是电子表格的完整视图**  **放大变压器的核心——自我关注**  ## 您将看到哪些组件 它包含所有变压器组件，包括： 1.嵌入 2.层规范 3.自我关注 4. 投影 5.多层感知机 6. 软最大 7. 逻辑 它基于 Andrej Karpathy 的 NanoGPT 结构，其中包含大约 85000 个参数。
它的尺寸显然非常小，但它足够复杂，足以让我理解它是如何工作的，而且也不会太大而导致我的计算机崩溃。 与 chatgpt 相比，该项目是一个基于字符的预测系统，这意味着每个标记都是一个字符，并且为了降低复杂性，仅对字母 A/B/C 进行标记。 ## 还包括什么 在数字文件“nanoGPT.numbers”中，您将看到两个选项卡，一个称为“无权重”，一个称为“随机权重”。
它们本质上是相同的，只是“随机权重”选项卡中的所有参数都是随机生成的，而“无权重”选项卡中的参数非常整洁，并且在管道中显示奇怪的值，但它也更清晰，可以帮助您阅读。这就是为什么我保留了两者。
由于电子表格软件的内部机制，每次你在“随机权重”选项卡中更新电子表格时，所有的值都会重新生成（因为计算量很大，有点烦人，所以电脑会冻结几秒钟，但你可以通过将所有值变成静态值来避免它）。
该电子表格不包含实际训练的权重和参数，因此您不应期望它在更新参数之前为您计算出正确的结果。 您可能还想知道是否有