首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
游戏 morning

Token出海赚的钱,跟不上飙升的存储成本了

2026-11-16 1 阅读 约10分钟阅读 硅碳变量
分享:
字号:
文|硅碳变量,作者|温宁 硅谷知名风险投资机构门罗风投(Menlo Ventures)发布的《2026年企业AI现状报告》显示,美国企业用于开源模型的支出中,89%付给了中国模型。前三名中,Kimi占61%,DeepSeek占15%,GLM占11%。 市场很愿意接受一套简洁叙事:依靠性能与定价,国产大模型抢走海外开发者预算。 但同一份报告里还有另一组数字:虽然开源模型在Token使用量上已经拿下了接近五分之一的份额(19%),但开源模型实际上仅占了企业模型总体支出的 4%,绝大部分的企业AI预算依然流向了闭源大模型。 换句话说,89%是一份浓度很高但体量有限的份额。 体量本身不是最大问题,真正的变化在于它的成本结构。要知道售卖词元表面是出售算力,本质却是交付状态。而状态并不依附算力,它落脚在内存与存储,而这正是本轮涨价压力最集中的元器件。 矛盾由此显现:收入按词元核算,成本却跟着GB走。 01.流量在跑,资产在静置 当市场紧盯各大聚合平台持续更新的Token调用榜单,热议国产大模型在海外开源市场的份额之争,多数分析仍将叙事锚在模型能力与报价优势上,默认这终究是一门“算力换 Token”的生意。 这套理解放在传统对话场景中尚可自洽,但在当下撑起海外新增流量的Agent任务里,负载的底层逻辑正在出现分化。 传统对话推理对应的资源模型足够直观,也是支撑当下绝大多数API定价体系的基础。 在这套理想框架里:用户发起提问,推理集群完成计算并返回内容;一轮对话收尾、会话关闭,本次请求占用的缓存资源随之释放,硬件回归空闲。 服务商可以依托Token总量估算成本,在集群利用率尚有空间时,吞吐越高越有机会摊薄单位开销,低价跑量和以规模换利润的逻辑因而能够自洽,Token数量与资源消耗也被默认处在相近的增长节奏上。 而海外聚合渠道里拉动增量的流量主力,正在从零散的人机对话转向具备自动化链路的Agent任务。 这类负载的资源节奏和普通问答存在明显分化:任务启动阶段,部分场景需要灌入几十万Token级别的前置文档与批量业务数据;之后进入数十轮链式工具调用,持续检索、读取外部信息;整个会话可能挂起数小时乃至更久,同一份前置上下文会被反复复用。 更关键的是在没有主动关闭会话的前提下,这部分上下文缓存会持续占用资源。模型持续生成新Token,只是追加缓存并不会自动把这一块占用释放回资源池。 随着长会话Agent流量占比上升,约束点也在切换:比拼的不只是推理速度,系统可同时支撑的常驻会话上限会成为新的紧约束。 厂商对外宣传的百万级上下文窗口,更多是面向客户的产品卖点;落到机房的资源账面上,它意味着一旦会话把窗口用起来,每一路活跃并发都可能需要预留数十GB的HBM空间用来承载持续在线的会话状态。 市面上的KV量化、MLA以及各类缓存压缩技术,都在试图压低单会话的显存开销和抬升集群可承载的并发规模。 但它们本质上只是优化单位成本,很难绕开那条底层约束:只要会话处于可随时响应的活跃状态,它的核心状态数据就需要驻留在高速存储里。 本轮词元流量的扩张,核心增量不完全来自新生成的输出文本。 万亿级调用量很容易制造一种错觉:增长来自源源不断的新内容生成。实际上,有相当一部分流量增长对应的是集群里持续堆叠、长期锁定且很难低成本跨任务调度回收的动态状态资产。 平台统计面板往往只记录进出的Token数量,但放到服务商的经营账本里,真正持续沉淀的成本来自那些长期占用且很难低成本二次分配给其他业务的显存与高速内存。 矛盾也由此显现:行业主流计价框架仍脱胎于瞬时算力时代的逻辑,收入按输入、输出词元计量。但对应的资本开支和高速显存占用成本,却会随着并发会话的驻留时长持续累积。 有的Agent会长时间挂起运行一整天,单位时间产出词元很少且营收有限,显存却被持续占用。它抬高了榜单上的调用规模,收入却跟不上资源的持续消耗,曾经趋于同步的两条增长曲线由此拉开缺口。 这种成本与计费的错位,或许正在慢慢改写Token出海赛道的竞争底色。 此前赛道的竞争路径简单直接:压缩单Token算力开销,用低价拿量,借规模摊薄硬件投入。当负载结构向Agent倾斜,固守吞吐和报价的单一竞争维度就可能撞上流量走高但利润收窄的陷阱。 调用数字走高很容易带来业务向好的信号,但一部分服务商容易忽视不断累积的会话状态资产正在构成对毛利的持续侵蚀风险。 在热闹的份额榜单之外,状态资产的管理能力或许正在形成一条新的隐形分界线。 02.词元出海,看不见的显存负债 当存储成本抬升,市场很容易把它简化成存储芯片涨价的故事。 但放到推理集群运营与资本开支的框架里看,元器件现货价格只是众多变量之一。 对利润构成持续性刚性约束的往往是一整套绑定供货、资产折旧、跨境流量与客户合规交织而成的规则链条。 上游存储芯片正处在结构性紧平衡周期,服务器 DRAM、面向AI集群的企业级NAND以及HBM的长期协议报价持续上行,原厂整体库存维持在偏低区间。 如果想要拿到稳定供货,自建推理集群的服务商已经很难单纯依靠现货随买随用保障持续扩容,往往需要提前签下季度乃至半年度量级的保底采购长单。 这也重塑了投入的性质:硬件采购不再是可以跟着业务节奏灵活调整的可变投入,转而变成带有刚性履约约束的资本开支。 这类合约一旦敲定,即便后续海外流量无法充分填满集群容量,合约款项、资产折旧依旧要按期兑现与计提,营收的波动很难对冲这部分刚性支出。 还有一块很容易被掩盖的成本,来自海外企业客户的合规留存约束。不少海外企业采购推理服务时,会要求完整审计日志、调用链路乃至会话原始内容长期可追溯和可审计。 这部分持久化存储独立于推理时临时生成的KV缓存,会长期稳定占用存储容量。 而大部分标准化词元采购合同并不会单独列支这项存储服务费,对应的开销被摊入统一的Token报价,外部很难单独剥离识别。 即便依靠KV缓存压缩、量化方案以及迭代模型版本做优化,集群硬件的物理服役周期尚在,但适配当前Agent负载的有效业务生命周期正在被持续压缩。 这迫使服务商下调资产预期回报周期,单位词元对应的折旧分摊随之走高。多重约束叠加,存储早已不只是服务器的配套成本,在这类负载下,它正在逼近算力的权重,还经常成为集群扩容的瓶颈。 存储对利润的侵蚀并非简单笼统的成本上涨,而是沿着多条独立路径持续压低集群的资产回报。这类信号不会拆解展现在对外报价单中,大多只能在服务商后台的运维与经营报表里被观测到。 首先是前缀缓存的命中率陷阱。前缀缓存的底层逻辑是以存储换取算力复用:缓存高频重复的上下文前缀,一旦命中就可以跳过重复计算,压低单Token的算力开销。 但缓存本身附带写入开销、淘汰调度逻辑以及生命周期约束。 一旦流量走向高度碎片化、租户分散、请求随机性抬升,缓存命中率就可能快速跌破盈亏平衡点。为缓存预留的大量显存持续占用资本却很难兑现预期的算力节约,进而拉低整套集群的资产回报率。 其次是峰值保底带来的闲置折旧。为承接突发流量、规避会话被强制清理以及防止服务稳定性下滑,运营侧往往需要预留足够的存储与显存冗余。 冗余资源面向尖峰而预留,常态大多闲置。冗余抬升带来更强的稳定性,代价是资产周转效率下降。在跨境潮汐流量之下,这笔折旧成本持续刚性,难以跟随淡季词元营收同步回落。 最后是
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱