您自己的硬件上的前沿人工智能

在我的一堂课上，我问了一个我不敢问的问题，但我只需要答案：“谁害怕毕业后找不到工作？”房间里的 150 人中大约有百分之八十举起了手。大约有 120 名学生在一项动议中回答说，他们不相信自己未来会有一席之地。另一个故事是通过电子邮件到达的。博士生迫不及待地想毕业，因为他们想加入前沿实验室，他们得出的结论是学术界的研究毫无意义。他们正在数着日子，直到可以离开。我相信这两个故事都是错误的，而且错误的原因相同。他们认为研究的未来属于拥有最多 GPU 的人。我认为事实恰恰相反。学术界可能即将迎来复兴，未来十年最令人兴奋的工作将发生在大学实验室——不是尽管资源有限，而是因为它们。本周是我们对这一主张的论证，我们用代码而不是散文来表达它。这篇文章分为六个部分：为什么像我们这样的实验室现在发布生态系统而不是论文；本次开源周实际内容是什么；为什么我不断遇到的悲观主义是错误的？该放弃什么，该坚持什么；一旦你放弃了研究，它会是什么样子？以及为什么学术界会出现复兴。研究单位不再是论文 去年发生了一些变化，我们大多数人都没有更新我们的习惯来匹配它。有了代理，每个项目的研究变得简单快捷。过去需要一年的工程和实验才能完成的工作现在需要几周甚至几天的时间。这是我花了更长的时间才看到的部分：当每个单独的项目变得容易时，零碎的工作就不再是好的研究。这里一篇论文，那里一篇论文，每一篇都是独立的，每一篇都要求读者自己将各个部分拼接在一起——这是来自一个每篇文章都很昂贵的世界的格式。困难并没有消失。它动了。发表论文不再是难事。发布一个连贯的生态系统是很困难的。研究单位是生态系统。这就是开源周的目的。当我和我的学生开始时，我们开始构建相互构建的组件，而不是仅仅共存，以便每个组件都使下一个组件更有用。我和我的实验室相信利用我们的学术自由将最好的人工智能工具免费提供给每个人。你可以在大学里做一些独特的事情。具体来说，这意味着构建开放系统，使模型在本地运行更便宜，使本地模型更强大，构建在深度和自主研究中复制前沿性能的本地系统，以及创建用于构建特定领域强化学习环境的新方法。所有这些都位于三件事的交叉点：推理服务框架、代理工具和工作，以及将两者组合成自主研究系统。而且所有这些都必须易于使用，因为只有经验丰富的研究人员才能运行的开源并不是开源。可访问性分为两部分——您需要的资源和您需要的专业知识——其中只有一个是由硬件解决的。几个 GPU 或一台 MacBook 就足够了。专业知识要求是一个设计问题，您可以通过抽象出用户不需要考虑的每个技术细节来解决它。这就是我们大部分努力的所在，并且在代理工具中最为明显。开源周 我不会在开源周开始之前透露所有内容，所以我现在可以告诉您以下内容。如果你问我今天一个小实验室能做什么，我们将向你展示三件事：前沿自主研究、我所知道的最有效的测试时间扩展，以及比 Claude Code 或 Codex 实现的更高效的自动压缩。从安全带开始，因为它是使其他一切可用的原因。您可能听说过持续数小时、数天甚至数周的代理会话。对于大多数人来说，尤其是对于那些从未与代理商合作过的人来说，如何实现这一目标是一个谜。您将我们的工具指向一个存储库（例如，带有 CUDA 内核的推理框架），然后告诉它优化内核。然后你离开。它通过进展缓慢、工作令人沮丧的部分不断改进它们，直到你回来为止。在此过程中不会提供任何反馈，因此当不清楚或不确定时，代理必须自行解决问题。这就是我们对推理框架的 Mac 和 Metal 实现所做的事情。一个命令将代理设置为在内核上松散。返回的是 Qwen 3.6 35B-A3B 模型的量化推理，每秒 450 个令牌，每个权重 1.5 位的高质量输出。半精度模型每个权重需要 16 位；在 1.5 位时，相同的模型运行大约十分之一的内存，并且运行速度足够快，感觉就像一个本地进程 ra