GitHub 热门项目:sglang

摘要

GitHub项目:sglang 仓库地址:https://github。com/sgl-project/sglang Stars:28105 | 作者:sgl-project 项目描述:SGLang is a high-performance serving framework for large language models and multimodal models。

https sglang blog sgl project
2026-05-22 1 阅读 GitHub Trending
GitHub 项目:sglang 仓库地址:https://github.com/sgl-project/sglang 星级:28105 | 作者:sql-project 项目描述:SGLang 是一个用于大型语言模型和多模态模型的高性能服务框架。 =================================================== 自述文件内容: logo [![PyPI](https://img.shields.io/pypi/v/sglang)](https://pypi.org/project/sglang) ![PyPI - 下载](https://static.pepy.tech/badge/sglang?period=month) [![许可证](https://img.shields.io/github/license/sgl-project/sglang.svg)](https://github.com/sgl-project/sglang/tree/main/LICENSE) [![问题解决](https://img.shields.io/github/issues-lined-raw/sgl-project/sglang)](https://github.com/sgl-project/sglang/issues) [![未决问题](https://img.shields.io/github/issues-raw/sgl-project/sglang)](https://github.com/sgl-project/sglang/issues) [![询问 DeepWiki](https://deepwiki.com/badge.svg)](https://deepwiki.com/sgl-project/sglang)
------------------------------------------------------------------------------------------------ 博客 | 文档 | 路线图 | 加入 Slack | 每周开发会议 | 幻灯片

## 新闻 - [2026/02] ? 在 NVIDIA GB300 NVL72 上使用 SGLang 解锁 25 倍的推理性能([博客](https://lmsys.org/blog/2026-02-20-gb300-inferencex/))。 - [2026/01] ? SGLang Diffusion 可加速视频和图像生成([博客](https://lmsys.org/blog/2026-01-16-sglang-diffusion/))。 - [2025/12] SGLang 为最新开放模型提供 day-0 支持([MiMo-V2-Flash](https://lmsys.org/blog/2025-12-16-mimo-v2-flash/)、[Nemotron 3 Nano](https://lmsys.org/blog/2025-12-15-run-nvidia-nemotron-3-nano/)、[Mistral Large 3](https://github.com/sgl-project/sglang/pull/14213)、[LLaDA 2.0 扩散法学硕士](https://lmsys.org/blog/2025-12-19-diffusion-llm/)、[MiniMax M2](https://lmsys.org/blog/2025-11-04-miminmax-m2/))。 - [2025/10] ? SGLang 现在通过 SGLang-Jax 后端在 TPU 上本地运行([博客](https://lmsys.org/blog/2025-10-29-sglang-jax/))。 - [2025/09] 在具有 PD 和大规模 EP 的 GB200 NVL72 上部署 DeepSeek(第二部分):3.8 倍预填充,4.8 倍解码吞吐量([博客](https://lmsys.org/blog/2025-09-25-gb200-part-2/))。 - [2025/09] SGLang Day 0 支持具有稀疏注意力的 DeepSeek-V3.2([博客](https://lmsys.org/blog/2025-09-29-deepseek-V32/))。 - [2025/08] SGLang x AMD SF Meetup 于 8/22 举行:GPU 实践研讨会、AMD/xAI/SGLang 的技术讲座以及网络([路线图](https://github.com/sgl-project/sgl-learning-materials/blob/main/slides/amd_meetup_sglang_roadmap.pdf), [大规模EP](https://github.com/sgl-project/sgl-learning-materials/blob/main/slides/amd_meetup_sglang_ep.pdf), [亮点](https://github.com/sgl-project/sgl-learning-materials/blob/main/slides/amd_meetup_highlights.pdf), [AITER/MoRI](https://github.com/sgl-project/sgl-learning-materials/blo