GitHub 热门项目：讲座

GitHub项目：讲座 仓库地址：https://github.com/gpu-mode/lectures 星级：6095 | 作者：GPU模式 项目描述：GPU模式讲座材料 =================================================== 自述文件内容： # 讲座补充材料 [](https://discord.gg/gpumode) [YouTube 频道](https://www.youtube.com/@GPUMODE) PMPP 书：[大规模并行处理器编程：实践方法](https://a.co/d/2S2fVzt)（亚马逊链接） ## 第 1 讲：在 PyTorch 中分析和集成 CUDA 内核 - 演讲者：[Mark Saroufim](https://twitter.com/marksaroufim) - [lecture_001](./lecture_001/) 文件夹中的笔记本和幻灯片 ## 第 2 讲：回顾第 1 章PMPP 书中的 1-3 - 演讲者：[Andreas Koepf](https://twitter.com/neurosp1ke) - 幻灯片：PowerPoint 文件 [lecture_002/cuda_mode_lecture2.pptx](./lecture_002/cuda_mode_lecture2.pptx) 可以在此存储库的根目录中找到。或者[此处](https://docs.google.com/presentation/d/1deqvEHdqEC4LHUUpStO6z3TT77Dt84fNAvTIAxBJgDck/edit#slide=id.g2b1444253e5_1_75)作为Google文档演示。 ## 第 3 讲：CUDA 入门 - 演讲者：[杰里米·霍华德](https://twitter.com/jeremyphoward) - 笔记本：请参阅 [lecture_003](./lecture_003/) 文件夹，或运行 [Colab 版本](https://colab.research.google.com/drive/180uk6frvMBeT4tywhhYXmz3PJaCIA_uk?usp=sharing) ## 第 4 讲：计算和内存架构简介 - 演讲者：[Thomas Viehmann](https://lernapparat.de/) - [lecture_004](./lecture_004/) 文件夹中的笔记本和幻灯片。 ## 第 5 讲：Python 程序员进一步使用 CUDA - 演讲者：[杰里米·霍华德](https://twitter.com/jeremyphoward) - [lecture_005](./lecture_005/) 文件夹中的笔记本。 ## 第 6 讲：优化 PyTorch 优化器 - 演讲者：[Jane Xu](https://github.com/janeyx99) - [幻灯片](https://docs.google.com/presentation/d/13WLCuxXzwu5JRZo0tAfW0hbKHQMvFw4O/edit#slide=id.p1) ## 第 7 讲：高级量化 - 演讲者：[查尔斯·埃尔南德斯](https://github.com/HDCharles) - [幻灯片](https://www.dropbox.com/scl/fi/hzfx1l267m8gwyhcjvfk4/Quantization-Cuda-vs-Triton.pdf?rlkey=s4j64ivi2kpp2l0uq8xjdwbab&dl=0) ## 第 8 讲：CUDA 性能检查表 - 演讲者：[Mark Saroufim](https://github.com/msaroufim) - [lecture_008](./lecture_008/) 文件夹中的代码 - [幻灯片](https://docs.google.com/presentation/d/1cvVpf3ChFFiY4Kf25S4e4sPY6Y5uRUO-X-A4nJ7IhFE/edit?usp=sharing) ## 第 9 讲：归约 - 演讲者：[Mark Saroufim](https://github.com/msaroufim) - [lecture_009](./lecture_009/) 文件夹中的代码 - [幻灯片](https://docs.google.com/presentation/d/1s8lRU8xuDn-R05p1aSP6P7T5kk9VYnDOCyN5bWKeg3U/edit?usp=drive_link) ## 第 10 讲：构建产品就绪 CUDA 库 * 演讲者：[Oscar Amoros Huguet](https://github.com/morousg) * [幻灯片](https://drive.google.com/drive/folders/158V8BzGj-IkdXXDAdHPNwUzDLNmr971_?usp=drive_link) ## 第 11 讲：稀疏性 * 演讲者：[Jesse Cai](https://github.com/jcaip) * [幻灯片](./lecture_011/sparsity.pptx) ## 第 12 讲：Flash 注意力 - 演讲者：[Thomas Viehmann](https://lernapparat.de/) - [lecture_012](./lecture_012/) 文件夹中的代码 ## 第 13 讲：环注意 - 说话