百万上下文下的DeepSeek V4：SGLang推理优化实战｜AICon深圳

Agent 时代，哪些方向正在成为行业关键变量？50 + 实战案例揭晓答案！ 模型参数规模不断突破，推理成本持续下降，开源生态日益繁荣。当模型能力逐渐成为行业共识，一个新的问题开始浮现：当人人都能获得强大的模型能力之后，真正的竞争力还剩下什么？ 答案正在从模型能力本身，转向围绕模型构建可规模化的智能系统；从单点能力提升，转向系统工程与组织级落地能力。 在这一背景下， 2026 年 AICon 人工智能开发与应用大会 · 深圳站 "正式启动。本次大会将于 8 月 21 日—22 日举办，聚焦 AI 基础设施、大模型系统、智能体工程、数据智能、多模态技术与行业落地等关键方向，邀请来自腾讯、阿里、华为、百度、蚂蚁集团等 50 + 头部科技企业技术负责人、科研机构一线专家，系统性分享前沿洞察与实战干货，共同探讨 AI 技术从能力到系统、从实验到生产的真实路径。 SGLang, RadixArk Engineer杨雨豪已确认出席 “ AI Infra、推理工程与异构计算 "” 专题，并发表题为《 百万上下文下的 DeepSeek V4：SGLang 推理优化实战 "》的主题分享。DeepSeek V4 模型采用了由 SWA（滑窗注意力）、CSA（压缩稀疏注意力，4:1 压缩+TopK 筛选）和 HCA（高压缩注意力，128:1 压缩）组成的混合注意力架构，相较于 V3 单一的 MLA 结构更为复杂，同时模型支持百万级上下文长度，对推理框架的缓存管理、算子效率和并行策略提出了严苛挑战。本次演讲分享 SGLang 团队如何通过缓存架构、算子融合和并行策略的全栈优化，实现 DeepSeek-V4 百万上下文推理的 Day-0 支持与持续性能提升，并结合 InferenceX 公开基准展示在 GB300 NVL72 上的实测结果。他在本次会议的详细演讲内容如下： 演讲提纲：一、DeepSeek V4 推理的核心挑战混合注意力架构的复杂性：SWA（滑窗 128）、CSA（4:1 压缩 + TopK 稀疏筛选）、HCA（128:1 纯压缩）三种异构 Attention 共存，每种有独立的 KV Cache 生命周期和索引逻辑百万级上下文带来的内存与计算压力：KV Cache 显存占用激增，TopK 等索引操作在长序列下成为瓶颈Compressor 机制引入跨 token 依赖：CSA/HCA 的 KV 计算需复用前序 token 中间状态，打破了传统逐 token 独立计算的假设二、ShadowRadix：三套 KV Cache 的统一管理在 RadixTree 上扩展虚拟地址表，每个 token 分配唯一虚拟位置，通过除法映射到三组 Shadow 页表（SWA 原始位置 / CSA 除以 4 / HCA 除以 128）SWA 引入 Tombstone 机制，自动释放滑窗外过期 KV，Shadow B/C 无需淘汰额外维护两个 Ring Buffer 管理 Compressor 中间状态，保证 CSA/HCA 跨 token 依赖的正确性踩坑：三套 Cache 的页大小、淘汰策略、前缀匹配逻辑完全不同，SWA 为支持前缀缓存需保留多于 128 token 的 KV，不能简单按滑窗大小截断三、算子级优化FlashCompressor：将 Compressor 流程中 Softmax、bias、scale-dot 等零散操作融合为单一 kernel，HBM 读写从 5 次降至 2 次Lightning TopK：序列分片到同一 Cluster 内的多个 CTA，各 CTA 用直方图做本地统计，通过 SM 互联（而非 HBM）完成 reduce；百万上下文 BS=1 下从 100μs 降至 15μsMegaMoE（DeepSeek 官方）：将 dispatch / group GEMM / combine 三阶段融合重叠为单一 kernel，直接调用 DeepGEMM 实现；限制：仅支持 FP8×FP4、仅 Blackwell SM100、仅 NVLink 互联踩坑：Kernel 语言选型——Triton 开发快但优化上限有限，CUDA 可做极致优化但开发慢，TileLang 居中；FlashCompressor 用 Triton 即可，Lightning TopK 必须用 CUDA四、并行策略与工程化DP Attention：V3 延续方案，提升吞吐CP（Context Parallelism）：将长序列均匀分片到多卡，Attention 前 AllGather 所需 KV（因压缩后体积小，通信开销低）；超长输入（90 万+）下 CP 优于 TP，短输入 TP 更优（CP 额外通信开销不划算）EP（Expert Parallelism）：GB300 NVL72 上大规模专家并行，AlltoAll 走 NVLink 带宽充足多流并行：SWA/CSA/HCA 三种 Attention 无数据依赖，分配到不同 CUDA Stream；解码阶段 SM 利用率未饱和，多流收益明显；用 CUDA Event 控制依赖顺序踩坑：FlashMLA 库专为 DP Attention 设计（头数完整），开启 TP 切分头数后只能 padding 到要求的头数，存在浪费，后续仍需优化；CP 的 KV AllGather 目前无法做 overlap（前后有数据依赖），计划用 Ring Attention 方案解决五、投机采样适配V4 MTP Layer 仅含 SWA，无 CSA/HCA，结构比主模型轻量将 KV 位置等元数据准备移入 CUDA Graph，消除 CPU 开销；兼容 Overlap Scheduling 实现 CPU/GPU 完全并行实测 4K 与 900K 上下文解码速度差异极小（TP=8, BS=1, MTP Len=3）踩坑：大 Batch（512/1024）下投机采样收益下降，因 GPU 瓶颈从访存转为计算，投机采样本质优化的是访存六、KV Cache Offloading 与 PD 分离HiSparse：CSA pool 溢出时卸载至 CPU 内存，SWA/HCA 体积小暂留 GPUPD 分离结合 ShadowRadix 虚拟索引，KV Cache 按配置从 P 节点传输至 D 节点七、性能数据InferenceX 基准（Input 8K / Output 1K）：开启 MTP 单用户交互速度 180 token/s；GB300 NVL72 高吞吐场景单 GPU 吞吐 11,500 token/s强化学习框架 Miles Day-0 支持：Rollout 阶段用 FP8、Training 用 BF16 混合精度，奖励值与 benchmark 分数随训练步数稳步提升实践痛点1. 架构复杂度换性能ShadowRadix 为三种 Attention 各维护一套独立的页表、淘汰策略和前缀匹配逻辑，系统复杂度相比 V3 单一 MLA 大幅膨胀。例如 SWA 为支持前缀缓存必须保留多于 128 token 的 KV，不能按滑窗大小简单截断，即使是最基础的缓存管理也充满 corner case。三套 Cache 的联调、一致性