GitHub 热门项目：FlashMLA

GitHub 项目：FlashMLA 仓库地址：https://github.com/deepseek-ai/FlashMLA 星级：12858 | 作者：deepseek-ai 项目描述：FlashMLA：高效的多头潜在注意力内核 =================================================== 自述文件内容： #FlashMLA ## 简介 FlashMLA 是 DeepSeek 的优化注意力内核库，为 [DeepSeek-V3](https://github.com/deepseek-ai/DeepSeek-V3) 和 [DeepSeek-V3.2-Exp](https://github.com/deepseek-ai/DeepSeek-V3.2-Exp) 模型提供支持。该存储库包含以下实现： **稀疏注意力内核** *这些内核为 DeepSeek 稀疏注意力 (DSA) 提供支持，如[本文](https://github.com/deepseek-ai/DeepSeek-V3.2-Exp)中所述。* - 预填充阶段的令牌级稀疏注意力 - 解码阶段的令牌级稀疏注意力，具有 FP8 KV 缓存 **密集注意力内核** - 对预填充阶段的高度关注 - 对解码阶段的高度关注 ## 新闻 - **2025.09.29 发布稀疏注意力内核**：随着 [DeepSeek-V3.2](https://github.com/deepseek-ai/DeepSeek-V3.2-Exp) 的推出，我们正在发布相应的 token 级稀疏注意力内核。这些内核为模型的 DeepSeek Sparse Attention (DSA) 提供支持，并在预填充期间实现高达 640 TFlops，在解码期间实现高达 410 TFlops。我们还发布了有关新 FP8 稀疏解码内核的深入博客。查看[此处](docs/20250929-hopper-fp8-sparse-deep-dive.md)。 - **2025.08.01 SM100 上的 MHA 内核**：感谢 [NVIDIA 的 PR](https://github.com/deepseek-ai/FlashMLA/pull/76) SM100 上的 MHA 前向/后向内核！ - **2025.04.22 深度博客**：我们很乐意分享新 FlashMLA 内核背后的技术细节！查看我们的深入文章[此处](docs/20250422-new-kernel-deep-dive.md)。 - **2025.04.22 性能更新**：我们很高兴地宣布推出新版 Flash MLA，它可为计算密集型工作负载提供 5% ~ 15% 的性能提升，在 NVIDIA H800 SXM5 GPU 上实现高达 660 TFlops。新版本的界面与旧版本完全兼容。只需升级到新版本即可立即提升性能！ 🚀🚀🚀 ## 性能 #### 测试和基准 MLA 解码（稀疏和密集）： ````bash python 测试/test_flash_mla_dense_decoding.py python 测试/test_flash_mla_sparse_decoding.py ```` 在具有 CUDA 12.8 的 H800 SXM5 上，密集 MLA 解码内核在内存限制配置中实现高达 3000 GB/s，在计算限制配置中实现高达 660 TFLOPS。令牌级稀疏 MLA 解码内核（在 bfloat16 中执行矩阵乘法时使用 FP8 KV 缓存）在具有 CUDA 12.8 的 H800 SXM5 上的计算限制配置中实现了 410 TFLOPS，并在 B200 上实现了高达 350 TFlops（尚未真正优化）。 #### 测试和基准 MHA 预填充（密集）： ````bash python 测试/test_fmha_sm100.py ```` 据 NVIDIA 报道，它在 B200 上的前向计算速度高达 1460 TFlops，后向计算速度高达 1000 TFlops。 #### 测试和基准 MLA 预填充（稀疏）： ````bash python 测试/test_flash_mla_sparse_prefill.py ```` 它在采用 CUDA 12.8 的 H800 SXM5 上实现了高达 640 TFlops 的前向计算，在采用 CUDA 12.9 的 B200 上实现了高达 1450 TFlops 的前向计算。 ## 要求