DeepSeek 刚刚开源了其推理引擎

DeepInfer 是高性能推理框架，为 DeepSeek 的大规模生产服务提供支持。此开源版本提供离线推理以及大规模服务所需的核心功能。支持的模型： 支持的功能：优化的内核、模型和采样器运行时 并行性：Attention DP / 平衡 CP、MoE EP + EPLB DSpark 和置信度调度验证 SWA 有界重播 异步调度（零开销批量调度程序） 批量不变推理 确定性采样 结构化输出 功能详细信息和配置 优化内核：FlashMLA 、 DeepGEMM 、 DeepEP 、 TileKernels 、 DeepSelect 、和自定义 TileLang 内核。 DSpark 和置信度计划验证：使用草稿令牌加速解码并使用置信度估计来安排验证。设置 DEEPINFER_ENABLE_MTP_VARLEN=1 ； DEEPINFER_USE_NEXTN_DECODE 控制最大草图长度（默认值：5）。解码器 SWA 有界重播：通过仅重播有界后缀来减少解码器预填充工作。设置 DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact 和 DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 为默认 V4.1 设置；保留的后缀必须覆盖 SWA 窗口加上最大回溯长度。异步调度：CPU批量调度与设备执行重叠。默认启用。批次不变推理：在不同批次组合中保持模型结果相同。通过 DEEPINFER_BATCH_INVARIANT=1 启用（仅限 NVIDIA）。确定性采样：对于相同的输入标记和采样参数产生相同的输出。设置 DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0 并将固定的 seq_seed 传递给 SamplingParams（仅限 NVIDIA）。结构化输出：将生成限制为正则表达式、JSON 模式或 EBNF 语法。将 so_args={"schema_type": ..., "schema": ...} 传递给 SamplingParams ；参见示例。支持的硬件： NVIDIA SM100 GPU 华为 Ascend 950 NPU 完整推理服务所需（不包含在本版本中）： KV 缓存系统 VE/预填充/解码分解（大多数必需的引擎功能已实现） 用于预填充和解码的数据并行副本之间的负载平衡 Linux GCC >= 13.0 Python 3.12 CUDA 13（仅限 NVIDIA） CANN 9.2（仅限 Ascend） 之前构建 DeepInfer，请创建并激活一个空的 Python 3.12 环境。 # 对于 Ascend 平台，请使用 `ascend` # 将其导出到运行 DeepInfer 的环境中 export DEEPINFER_ACCELERATOR=nvidia ./build.sh 默认检查点 deepseek-ai/DeepSeek-V4.1-Flash-1017 会在第一次运行时下载到 Hugging Face 缓存中；将 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 设置为从本地副本运行。 python example/offline_inference.py 有关详细信息，请参阅示例。预填充解码 在 4 个用于预填充的 SM100 GPU 和 64 个用于解码的 SM100 GPU 上进行测量 — 每个 GPU 都在一个扩展域内。要重现基准测试，请参阅 run_sweep.sh 。请参阅 eval/README.md 。 DeepInfer 是在 Apache License 2.0 下发布的。有关详细信息，请参阅许可证。 DeepInfer 最初主要基于 vLLM 构建，并受到 SGLang 和 TensorRT-LLM 的额外启发。我们感谢他们的开发者。 @misc { deepinfer2026 ， title = { DeepInfer：用于 DeepSeek 模型的高性能、大规模推理框架 } ，作者 = { DeepSeek-AI } ，年份 = { 2026 } ，publisher = { GitHub } ， howpublished = { \url{https://github.com/deepseek-ai/DeepInfer} } , }