智能AI
morning
混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设计混合状态缓存
2026-11-17
1 阅读
约10分钟阅读
机器之心
字号:
Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 等线性注意力与状态空间层,正在成为开源大模型的常见组件。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 都采用了「全注意力 + 线性层」的混合架构,以换取更快的解码和更小的 KV Cache。 但在编程 Agent 这类多轮、长上下文负载中,混合模型的前缀缓存管理比纯 Transformer 要更加复杂。来自 Together AI、UIUC 与 UT Austin 的研究团队提出 FlashStates,重新设计了混合架构模型的 KV 和状态缓存管理。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹时,FlashStates 的预填充(prefill)吞吐最高达到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降低 88.4%。接入 512GiB 的 Mooncake CPU 缓存后,收益依然显著,并且已经支持分布式存储与跨节点的混合状态复用。 论文标题:FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference 论文链接:https://www.alphaxiv.org/abs/2611.FlashState 代码:https://github.com/FutureMLS-Lab/FlashStates 项目主页:https://FlashStates.ai 作者介绍 本文由 Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)与得克萨斯大学奥斯汀分校(UT Austin) 合作完成。共同第一作者为 Chenxi Li(Together AI)与 Weili Xu(UIUC),其他作者包括 Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI)与通讯作者 Chenfeng Xu(UT Austin)。 Together AI 于 2022 年 6 月创立,由 Flash Attention 作者 Tri Dao、斯坦福大模型研究中心主任 Percy Liang、芝加哥大学副教授 Ce Zhang、苹果前高管 Vipul Ved Prakash 联合创办。FutureMLS(Future Machine Learning & Systems Lab)是由 悉尼大学计算机科学博士周中柱创立的非营利研究实验室,聚焦高效机器学习架构、后训练、训练与推理引擎,以及智能体系统。 混合状态:缺一不可的两件套 纯 Transformer 的 KV 按 token 存储,前缀可以截断到任意位置复用。线性层则用一个固定大小的循环状态概括整个前缀,好处是整个状态不会随着输入 prompt 长度增长,但坏处是单个状态块占用内存大,而且该状态无法回滚:拿着第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。 因此,要从位置 p 继续计算,必须同时拥有 1. 完整前缀的注意力 KV,以及 2. 恰好位于 p 的循环检查点(recurrent checkpoint,后文简称为检查点)。论文把两者合称为「混合状态」。 Agent 负载每一轮请求都是「上一轮 prompt + 上一轮输出 + 工具结果」,最理想的复用点就是上一轮请求 decode 输出的终点,而这个位置通常不会落在引擎预设的块边界上。 现有引擎的问题:三类未命中 研究团队用 GLM-5.3-Flash 分别运行 vLLM 和 SGLang,对每个被重算的 prompt token 追溯原因,归纳出三类可避免的缓存未命中场景:放置未命中(检查点没存在需要的位置)、依赖未命中(KV 还在,检查点被驱逐)、容量未命中(缓存确实装不下)。 vLLM 与 SGLang 的缓存未命中归因 vLLM 默认只在 prompt 内每 4,352 token 的块边界保存检查点,decode 阶段不保存。低并发(8-16)时, 放置未命中 占其未缓存 token 的 43%。SGLang 则支持细粒度的块边界,如 256 token,该设置相同并发下放置问题基本消失,未命中降到 5% 以下,但约 430 个检查点挤在独立的状态池里,按 LRU 驱逐时经常踢掉 KV 仍在的检查点导致 依赖未命中 。 并发继续升高后(32-64),问题开始叠加。vLLM 的 prompt 末端检查点在请求进入解码后就会被放回可驱逐队列,依赖未命中从 40 并发起快速增长,64 并发时占其未缓存 token 的 42%。也是从 40 并发起,两个引擎都进入「混合状态颠簸」(hybrid state thrashing), 容量未命中叠加在依赖未命中之上 。 结论是:检查点间隔大了产生放置未命中,小了产生依赖未命中,并发再高还会叠加容量未命中,单靠调整检查点密度无法解决。 FlashStates 的设计 1. 任意位置状态检查点(ASC)。 FlashStates 在每个请求结束时捕获其精确终点的状态;如果终点落在 KV 块内部,就保留整个末尾块,同时包括全注意力 KV 和循环检查点,将他们进行统一管理。对于预填充中途的位置,团队定义了 PrefillExport 接口,让 kernel 在正常计算的同时导出指定位置的状态,输出结果保持不变。KDA 和 GDN 的 kernel 均已适配。 2. 定义优化目标 有了 ASC,混合状态可以存在任意位置,剩下的问题是:显存放不下时,该留哪些?论文用两个位置来刻画一个请求 r 浪费了多少(见下图)。理想恢复点 ℓ(r)(*):这个请求的 prompt 与此前处理过的所有内容最长能对上的地方,只要缓存足够大,就能从这里接着算。实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存里仍完整保留着混合状态的最近位置。两者之间的 token 只能重新预填充,花费的时间记作 C(ℓ(r)(π), ℓ(r)(*))。 其优化目标是: 在有限的 GPU 内存 B 下,让每个请求的实际恢复点 ℓ(r)(π) 尽量接近理想恢复点 ℓ(r)(*),即最小化所有请求重复计算的预填充时间之和 Σ(r) C(ℓ(r)(π), ℓ(r)(*))。 3. 依赖感知的准入与驱逐。 围绕这一目标,团队基于经典的 GreedyDual-Size(GDS)算法设计了在线策略,每个混合状态的优先级为: H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数 。 其中恢复代价就是驱逐后相关请求要多付出的预填充时间,由上面的代价模型估算。驱逐的单位是「一个检查点 + 只被它依赖的块」,与其他混合状态共享的前缀不计入释放量。两项单位都是「每块的预填充时间」,可以直接相加,不需要任何随负载调整的超参数。同时,准入也用同一个优先级:显存紧张时,新检查点只有比已缓存中最不值钱的那个更有价值,才会被保留。 GPU 缓存下的实验结果 实验在 B200 上进行,负载为 S
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱