更便宜的人工智能推理推动基础设施支出创纪录

NextFin News — 机器智能的价格不断下降。生产它的物理系统的费用不断上涨。对提供商定价和能力基准的分析表明，自 2022 年底以来，达到曾经与 GPT-3.5 或早期 GPT-4 相关的性能水平的成本已下降数十至数百倍。在一些跟踪系列中，对于固定能力阈值，下降超过 280 倍。现在，提供可比结果的商品模型的成本通常远低于每百万代币一美元。中端产品反复降价 20% 至 80% 已成为常态。与此同时，最大的云和科技公司一再上调资本支出预测。目前，顶级提供商 2026 年的综合支出在 7000 亿美元至 8000 亿美元以上之间，预计还会进一步上调。资金正流向数据中心建设、先进处理器、高带宽内存、网络设备、电力基础设施和冷却系统。这两种趋势是相互关联的。当一项能力的单位成本下降时，经济上可行的用途就会扩大。这是十九世纪经济学家威廉·斯坦利·杰文斯在更高效的蒸汽机和不断增加的煤炭消耗总量的情况下首次注意到的模式。在目前的情况下，较低的推理成本使得连续的多步骤系统变得实用。这些代理架构不会止步于单一答案。他们计划、调用外部工具、检查中间结果、纠正错误并进行迭代。来自聚合平台的使用数据显示，代理驱动的代币数量增长速度比人类发起的流量快许多倍，并且在最近的测量中，甚至超过了它。以这种方式完成给定任务可能比简单的聊天交换需要多五到三十倍的代币，并且在某些配置中，乘数更高。研究估计，在本世纪末之前，代理活动可能会使整体代币吞吐量增加很多倍。因此，单价的下降并没有减少对产生情报的资源的总需求。他们已经增加了。约束性约束已经沿着供应链移动。早期的短缺主要集中在高端处理器上。随后注意力转向高带宽存储器以及将逻辑芯片与存储器堆栈集成的先进封装方法。包装产能已扩大数倍，但预订量仍然很大。高带宽内存输出主要承诺到 2026 年及以后。电力供应和电网连接已成为多个地区的限制因素。随着机架密度的增加，冷却系统正在转向液体解决方案。价值往往会在供应扩张最慢的地方稳定下来。通用模型智能本身已变得更具竞争力且对价格敏感。事实证明，难以快速复制的回报出现在无法仅通过软件加速生产的实物资产中，或者出现在将廉价认知转化为可靠商业结果的操作系统中。后者包括随着每项行动而改进的反馈循环、持续的客户关系以及在长工作流程中保持准确性的流程。无差别的模型访问或简单的中间层位于这些极点之间。随着基础功能变得更便宜、应用范围更广，仅针对连接收取持久溢价的能力就会缩小。买家越来越多地通过具体的成本降低或产出增益来衡量系统。早期的技术转型也遵循类似的路径。一旦稀缺的人力变得丰富且廉价，稀缺性就不会消失。它搬迁了。机器认知现在正在朝这个方向发展。不能以同样速度扩展的要素是经济回报集中的点。这些观点的持久性将取决于供应响应的速度，以及扩展的认知能力如何有效地转化为证明实物投资合理的结果。