GitHub 热门项目：LLM101n

GitHub 项目：LLM101n 仓库地址：https://github.com/karpathy/LLM101n 星级：36924 | 作者：卡帕蒂 项目描述：LLM101n：让我们打造一个讲故事的人 =================================================== 自述文件内容： # LLM101n：让我们构建一个讲故事的人 --- **！！！注意：该课程尚不存在。它目前由 [Eureka Labs](https://eurekalabs.ai) 开发。在准备好之前，我将存档此存储库!!!** ---  > 我无法创造的东西，我就不明白。 ——理查德·费曼 在本课程中，我们将构建一个 Storyteller AI 大语言模型 (LLM)。携手并进，您将能够使用 AI 创建、完善和说明小故事。我们将使用 Python、C 和 CUDA 从头开始​​，以最少的计算机科学先决条件构建从基础知识到类似于 ChatGPT 的功能性 Web 应用程序的端到端的一切。最后，您应该对人工智能、法学硕士和深度学习有一个相对深入的了解。 **教学大纲** - 第 01 章 **Bigram 语言模型**（语言建模） - 第 02 章 **Micrograd**（机器学习、反向传播） - 第 03 章 **N-gram 模型**（多层感知器、matmul、gelu） - 第 04 章 **注意力**（注意力、softmax、位置编码器） - 第 05 章 **Transformer**（变压器、残差、layernorm、GPT-2） - 第 06 章 **标记化**（minBPE，字节对编码） - 第 07 章 **优化**（初始化、优化、AdamW） - 第 08 章 **极品飞车 I：设备**（设备、CPU、GPU...） - 第 09 章 **极品飞车 II：精度**（混合精度训练、fp16、bf16、fp8，...） - 第 10 章 **极品飞车 III：分布式**（分布式优化、DDP、ZeRO） - 第 11 章 **数据集**（数据集、数据加载、合成数据生成） - 第 12 章 **推论 I：kv-cache** (kv-cache) - 第 13 章 **推论 II：量化**（量化） - 第 14 章 **微调 I：SFT**（监督微调 SFT、PEFT、LoRA、聊天） - 第 15 章 **微调 II：RL**（强化学习、RLHF、PPO、DPO） - 第 16 章 **部署**（API、Web 应用程序） - 第 17 章 **多模式**（VQVAE，扩散变压器） **附录** 上述进展的其他主题： - 编程语言：汇编、C、Python - 数据类型：整数、浮点、字符串（ASCII、Unicode、UTF-8） - 张量：形状、视图、步幅、连续...... - 深度学习框架：PyTorch、JAX - 神经网络架构：GPT（1,2,3,4），Llama（RoPE，RMSNorm，GQA），MoE，... - 多模态：图像、音频、视频、VQVAE、VQGAN、扩散