代币太便宜而无法计量

使用机器学习智能的成本每年下降几个数量级，并且没有任何放缓的迹象。在未来一两年内，我们很可能会看到法学硕士作为基础设施集成到计算的各个部分，而不仅仅是作为产品。未来 3-6 年内，我们可能会看到法学硕士在商用硬件上以当前前沿质量在本地运行。从很快开始，我们很可能会看到质量和访问成为人工智能使用的限制因素，而不是纯粹的代币数量。这真的发生了吗？非凡的主张需要非凡的证据，所以我收集了一大堆证据。 AI 可以是专有的（例如 GPT-6 Astra），也可以是开放式的（例如 GLM-5.3-flash）。开放权重模型可以托管（例如由 Z.ai）或本地。一般来说，打算在本地运行的模型会小得多，例如 Muse Glimmer 或 Qwen3 Coder 。某一方面的改进并不总是会影响其他方面的改进。影响所有 AI GPU 的改进每一代 GPU 的效率都呈指数级增长。在下图中（来源），X 轴是时间，Y 轴是 GPU 本身的功率效率。 Y 轴数字越大意味着效率越高。这是一个对数图，也就是说图上的一条直线代表效率呈指数增长。在本例中，对数为 1.3，这意味着效率大约每两年翻一番。这是自 20 世纪 60 年代摩尔定律以来我们从未见过的效率提升。模型 随着时间的推移，使用模型完成给定任务的成本正在急剧下降。模型通常按代币定价。 “token”是一个单词的一个片段；表示一个单词大约需要 1.5 个 token。对于模型读取的每个令牌以及它输出的每个令牌，“模型提供者”（例如 Anthropic 或 OpenAI）都会向您收取一些固定金额的费用。模型的每个代币成本并没有持续下降，至少对于最聪明的（“前沿”）模型来说是这样。但每项任务的成本是。较小的模型每个令牌的成本可能较低，但对于相同的任务，总体上比较大的模型使用更多的令牌，因为它们必须思考更多或更正其初稿。这一部分是关于完成任务从开始到结束的成本。下图（来源）显示了目前成本/任务的“帕累托前沿”。帕累托前沿显示了您可以获得的最佳权衡，而不仅仅是单个类别中的最佳权衡。在这里，我们的权衡是： Y 轴：模型的“质量”（通过一组基准来衡量） X 轴：完成这些基准的成本 成本采用对数尺度。 Y 轴数字越大，X 轴数字越小越好。这向我们展示了截至 2026 年帕累托前沿的各种模型。右上角我们有 Claude Fable-5.1（昂贵且智能）；向中偏左方向，我们有 GPT-5.6 Luna（便宜且不太智能）。虚线以下的型号基本不值得考虑。现在，看一下这张图表，显示了 2025 年年初、中期和年底的前沿：该图表显示，在 2025 年，模型在每个任务的基础上变得更加智能和便宜。如果您在 Y 轴上的基本上任何任务上画一条水平直线，那么在 2025 年底执行该任务的成本比年初便宜；如果您在 X 轴上的任何点上画一条垂直直线，模型可以以相同的成本做更多的事情。现在，将 2025 年图表与 2026 年图表进行比较。 Y 轴（智力）大致相同，但向便宜端的下降较少。 X 轴（成本）便宜了两个数量级。推理引擎 “推理引擎”是一个软件包，它采用经过训练的模型和输入文本，并在 GPU 上实际运行它。推理引擎目前还不成熟，并且正在迅速改进。目前，我们看到同比提升了 10%-50%，具体取决于您使用的引擎。推理引擎经常比较两个基准：“离线”（在一个大批量中运行一堆令牌）和“服务”（有人在不可预测的时间发送服务器输入，并且您希望尽快发回响应）。服务的效率比离线推理快得多。以下所有数字均用于服务工作负载，而不是离线工作负载。 vLLM vLLM 是一个开源推理引擎，随着时间的推移，它的效率越来越高。在下图中（源），Y 轴是焦耳/令牌，X 轴是批量大小（大致为：“并行处理多少个输入？”），蓝/红线是不同的软件版本。 Y 轴数字越小意味着效率越高。 vLLM 0.11.1 于 2025 年 12 月发布，比 2024 年 9 月 vLLM 0.5.4 发布一年多一点。换句话说，这相当于 15 个月内效率提升了约 40%。对于连续多个版本，随着时间的推移，效率并没有明确的比较，但仅考虑 vLLM，性能也会随着时间的推移而迅速增加，并且性能