GitHub 热门项目：发电机

GitHub 项目：dynamo 仓库地址：https://github.com/ai-dynamo/dynamo 星级：8159 | 作者：ai-dynamo 项目描述：数据中心规模的分布式推理服务框架 =================================================== 自述文件内容：  [](https://opensource.org/licenses/Apache-2.0) [](https://github.com/ai-dynamo/dynamo/releases/latest) [](https://pypi.org/project/ai-dynamo/) [](https://deepwiki.com/ai-dynamo/dynamo) [](https://ai-dynamo.org/slack)  | **[文档](https://docs.nvidia.com/dynamo/)** | **[路线图](https://github.com/ai-dynamo/dynamo/issues/9178)** | **[食谱](https://github.com/ai-dynamo/dynamo/tree/main/recipes)** | **[示例](https://github.com/ai-dynamo/dynamo/tree/main/examples)** | **[容器](https://catalog.ngc.nvidia.com/orgs/nvidia/teams/ai-dynamo/collections/ai-dynamo)** | **[摘要](docs/fern/pages/blog/latest.mdx)** | **[设计提案](https://github.com/ai-dynamo/dynamo/issues?q=is%3Aissue+label%3A%22dep%3Adraft%22%2C%22dep%3Aprofused%22%2C%2 2dep%3A已批准%22%2C%22dep%3A实施%22%2C%22dep%3A已完成%22%2C%22dep%3A延期%22%2C%22dep%3Asuperseed%22)** | **[如何贡献](#community-and-contributing)** | **[Slack](https://ai-dynamo.org/slack)** |

# 发电机 **开源、数据中心规模的推理堆栈。** Dynamo 是推理引擎之上的编排层 - 它不会取代 SGLang、TensorRT-LLM 或 vLLM，而是将它们转变为协调的多节点推理系统。分解服务、智能路由、多层 KV 缓存和自动扩展协同工作，可最大限度地提高 LLM、推理、多模式和视频生成工作负载的吞吐量并最大限度地降低延迟。 采用 Rust 构建以提高性能，采用 Python 构建可扩展性。 ## 社区活动 |日期 |活动 |地点 | |:-----|