GitHub 热门项目：nanochat

GitHub 项目：nanochat 仓库地址：https://github.com/karpathy/nanochat 星级：53919 | 作者：卡帕蒂 项目描述：100 美元可以买到的最好的 ChatGPT。 =================================================== 自述文件内容： # 纳米聊天   nanochat 是用于培训法学硕士的最简单的实验工具。它设计为在单个 GPU 节点上运行，代码最少/可破解，涵盖所有主要的 LLM 阶段，包括标记化、预训练、微调、评估、推理和聊天 UI。例如，您只需 48 美元（约 2 小时的 8XH100 GPU 节点）即可训练自己的 GPT-2 功能 LLM（2019 年训练成本约 43,000 美元），然后在熟悉的类似 ChatGPT 的 Web UI 中与其进行对话。在现货实例中，总成本可能接近 15 美元。更一般地说，nanochat 是开箱即用的，通过设置一个复杂度旋钮来训练整个迷你系列的计算最优模型：“--深度”，即 GPT 转换器模型中的层数（GPT-2 功能恰好约为深度 26）。所有其他超参数（变压器的宽度、磁头数量、学习率调整、训练范围、权重衰减等）都会以最佳方式自动计算。 对于有关存储库的问题，我建议使用 Devin/Cognition 的 [DeepWiki](https://deepwiki.com/karpathy/nanochat) 询问有关存储库的问题，或者使用 [讨论选项卡](https://github.com/karpathy/nanochat/discussions)，或者通过[#nanochat](https://discord.com/channels/1020383067459821711/1427295580895314031) Discord 频道。 ## GPT-2 时间排行榜 目前，开发的主要重点是调整预训练阶段，该阶段需要最多的计算量。受 modded-nanogpt 存储库的启发，为了激励进步和社区合作，nanochat 维护了一个“GPT-2 speedrun”排行榜，这是将 nanochat 模型训练到 GPT-2 级能力所需的挂钟时间，通过 DCLM CORE 分数来衡量。 [runs/speedrun.sh](runs/speedrun.sh) 脚本始终反映训练 GPT-2 等级模型并与之对话的参考方式。目前的排行榜如下： | ＃|时间 | val_bpb |核心|描述 |日期 |提交 |贡献者 | |---|-------------|---------|-----|------------|-----|--------|--------------| | 0 | 168 小时 | - | 0.2565 | 0.2565原始 OpenAI GPT-2 检查点 | 2019 | 2019 - |开放人工智能 | | 1 | 3.04 | 3.04 0.74833 | 0.2585 | 0.2585 d24 基线，稍微过度训练 | 2026 年 1 月 29 日 | 348fbb3 | @karpathy | | 2 | 2.91 | 2.91 0.74504 | 0.74504 0.2578 | 0.2578 d26 训练稍有不足 **+fp8** | 2026 年 2 月 2 日 | a67eba3 | @karpathy | | 3 | 2.76 | 2.76 0.74645 | 0.74645 0.2602 | 0.2602将总批量大小增加到 1M 个代币 | 2026 年 2 月 5 日 | 2c062aa | 2c062aa @karpathy | | 4 | 2.02 | 2.02 0.71854 | 0.2571 | 0.2571将数据集更改为 NVIDIA ClimbMix | 2026 年 3 月 4 日 | 324e69c | 324e69c @ddudek @karpathy | | 5 | 1.80 | 1.80 0.71808 | 0.2690 |自动研究[第1轮](https://x.com/karpathy/status/2031135152349524125) | 2026 年 3 月 9 日 | 6ed7d1d | 6ed7d1d @karpathy | | 6 | 1.65 | 1.65 0.71800 | 0.2626 | 0.2626自动研究第二轮| 2026 年 3 月 14 日 | a825e63 | @karpathy | 我们关心的主要指标是“达到 GPT-2 的时间”——完成 GPT-2 所需的挂钟时间