GitHub 热门项目：sutskever-30-implementations

GitHub 项目：sutskever-30-implementations 仓库地址：https://github.com/pageman/sutskever-30-implementations 星级：3261 | 作者：佩奇曼 项目描述：受 https://papercode.vercel.app/ 启发的 Sutskever 30 实现 |对于代理，请使用 https://github.com/pageman/Sutskever-Agent |多语言/多支持版本 https://github.com/pageman/sutskever-30-beyond-numpy =================================================== 自述文件内容： # Sutskever 30 - 完整的实施套件 **Ilya Sutskever 推荐的 30 篇基础论文的全面玩具实现** [](https://github.com/pageman/sutskever-30-implementations) [](https://github.com/pageman/sutskever-30-implementations) [](https://numpy.org/) [**在 Gumroad 购买此存储库的 Google Colab 代码**](https://pageman.gumroad.com/l/sutskever30colabcode) ## 概述 该存储库包含 Ilya Sutskever 著名阅读清单中论文的详细教育实现 - 他告诉 John Carmack 的该集合将教你深度学习中“90% 的重要内容”。 **进度：30/30 篇论文 (100%) - 完成！ ?** 每个实现： - ✅ 仅使用 NumPy（无深度学习框架）以保证教育清晰度 - ✅ 包括用于立即执行的合成/引导数据 - ✅ 提供广泛的可视化和解释 - ✅ 展示每篇论文的核心概念 - ✅ 在 Jupyter 笔记本中运行以进行交互式学习 ## 快速入门 ````bash # 导航到目录 cd sutskever-30-实现 # 安装依赖项 pip 安装 numpy matplotlib scipy # 运行任何笔记本 jupyter笔记本02_char_rnn_karpathy.ipynb ```` ## Sutskever 30 篇论文 ### 基本概念（论文 1-5） | ＃|纸|笔记本|关键概念| |---|--------|----------|--------------| | 1 |复动力学第一定律 | ✅ `01_complexity_dynamics.ipynb` |熵、复杂性增长、元胞自动机 | | 2 | RNN 的不合理有效性 | ✅ `02_char_rnn_karpathy.ipynb` |字符级模型、RNN 基础知识、文本生成 | | 3 |了解 LSTM 网络 | ✅ `03_lstm_understanding.ipynb` |盖茨，长期记忆，梯度流| | 4 | RNN 正则化 | ✅ `04_rnn_regularization.ipynb` |序列的 dropout，变分 dropout | | 5 |保持神经网络简单 | ✅ `05_neural_network_pruning.ipynb` | MDL原理，权值剪枝，稀疏度90%以上 | ### 架构和机制（论文 6-15） | ＃|纸|笔记本|关键概念| |---|--------|----------|--------------| | 6 |指针网络| ✅ `06_pointer_networks.ipynb` |注意作为指针，组合问题 | | 7 | ImageNet/AlexNet | ✅ `07_alexnet_cnn.ipynb` | CNN、卷积、数据增强 | | 8 |顺序很重要：集合的 Seq2Seq | ✅ `08_seq2seq_for_sets.ipynb` |集合编码、排列不变性、注意力池 | | 9 | G管道| ✅ `09_gpipe.ipynb` |管道并行、微批处理、重新物化 | | 10 | 10深度残差学习（ResNet）| ✅ `10_resnet_deep_residual.ipynb` |跳过连接、梯度高速公路 | | 11 | 11膨胀卷积 | ✅ `11_dilated_convolutions.ipynb` |感受野，多尺度 | | 12 | 12神经消息传递 (GNN) | ✅`12_graph_neural_networks.ipynb`