GitHub 热门项目：autoresearch

GitHub 项目：autoresearch 仓库地址：https://github.com/karpathy/autoresearch 星级：80170 | 作者：卡帕蒂 项目描述：AI 代理自动运行单 GPU Nanochat 训练研究 =================================================== 自述文件内容： # 自动研究  *曾经有一天，前沿的人工智能研究是由肉计算机在吃饭、睡觉、娱乐以及偶尔在“小组会议”仪式中使用声波互连进行同步来完成的。那个时代早已一去不复返了。现在的研究完全是在天空中的计算集群巨型结构上运行的自主人工智能代理群的领域。特工声称我们现在处于代码库的第 10,205 代，无论如何没有人能判断这是对还是错，因为“代码”现在是一种自我修改的二进制文件，其发展已经超出了人类的理解范围。这个仓库讲述了这一切是如何开始的。 -@karpathy，2026 年 3 月*。 这个想法是：为人工智能代理提供一个小型但真实的 LLM 训练设置，并让它在一夜之间自主进行实验。它修改代码，训练 5 分钟，检查结果是否改进，保留或丢弃，然后重复。早上醒来，你会看到一系列实验和（希望）更好的模型。这里的训练代码是 [nanochat](https://github.com/karpathy/nanochat) 的简化单 GPU 实现。核心思想是，您不会像通常作为研究人员那样接触任何 Python 文件。相反，您正在编写“program.md”Markdown 文件，为 AI 代理提供上下文并设置您的自主研究组织。此存储库中的默认“program.md”有意保留为基本基线，但很明显，随着时间的推移，人们将如何迭代它以找到实现最快研究进展的“研究组织代码”，如何向混合中添加更多代理等。有关此项目的更多背景信息请参见[tweet](https://x.com/karpathy/status/2029701092347630069)和[这条推文](https://x.com/karpathy/status/2031135152349524125)。 ## 它是如何工作的 该存储库故意保持较小，并且只有三个重要的文件： - **`prepare.py`** — 固定常量、一次性数据准备（下载训练数据、训练 BPE 分词器）和运行时实用程序（数据加载器、评估）。没有修改。 - **`train.py`** — 代理编辑的单个文件。包含完整的 GPT 模型、优化器（Muon + AdamW）和训练循环。一切都是公平的：架构、超参数、优化器、批量大小等。 **此文件由代理编辑和迭代**。 - **`program.md`** — 一个代理的基线指令。将您的代理指向此处并放手。 **此文件由人类编辑和迭代**。 根据设计，训练的运行时间为**固定的 5 分钟时间预算**（挂钟，不包括启动/编译），无论您的计算细节如何。该指标是**val_bpb**（每字节的验证位数）——越低越好，并且与词汇大小无关，因此可以公平地比较架构变化。 如果您是神经网络新手，这个[“Dummy's Guide”](https://x.com/hooeem/status/2030720614752039185)看起来非常适合更多上下文。 ## 快速开始 **要求：** 单个 NVIDIA GPU（在 H10 上测试）