开源推荐 morning

GitHub 热门项目：exo

摘要

GitHub项目：exo 仓库地址：https://github。com/exo-explore/exo Stars：44843 | 作者：exo-explore 项目描述：Run frontier AI locally。

exo and https devices models

2026-05-21 1 阅读 约4分钟阅读 GitHub Trending

--- exo 将您的所有设备连接到一个 AI 集群中。 exo 不仅可以运行比单个设备更大的模型，而且通过 [day-0 支持 Thunderbolt 上的 RDMA](https://x.com/exolabs/status/2001817749744476256?s=20)，当您添加更多设备时，模型可以运行得更快。 ＃＃ 特征 - **自动设备发现**：运行 exo 的设备自动发现彼此 - 无需手动配置。 - **基于 Thunderbolt 的 RDMA**：exo 附带 [day-0 支持基于 Thunderbolt 5 的 RDMA](https://x.com/exolabs/status/2001817749744476256?s=20)，使设备之间的延迟减少 99%。 - **拓扑感知自动并行**：exo 根据设备拓扑的实时视图找出在所有可用设备上分割模型的最佳方式。它考虑了每个链路之间的设备资源和网络延迟/带宽。 - **张量并行性**：exo 支持分片模型，在 2 台设备上实现高达 1.8 倍的加速，在 4 台设备上实现高达 3.2 倍的加速。 - **MLX 支持**：exo 使用 [MLX](https://github.com/ml-explore/mlx) 作为推理后端，并使用 [MLX 分布式](https://ml-explore.github.io/mlx/build/html/usage/distributed.html) 进行分布式通信。 - **多个 API 兼容性**：与 OpenAI 聊天完成 API、Claude Messages API、OpenAI Responses API 和 Ollama API 兼容 - 使用您现有的工具和客户端。 - **自定义模型支持**：从 HuggingFace 中心加载自定义模型以扩展可用模型的范围。 ## 仪表板 exo 包含一个内置仪表板，用于管理集群并与模型聊天。

4 × 512GB M3 Ultra Mac Studio，运行 DeepSeek v3.1（8 位）和 Kimi-K2-Thinking（4 位）

## 基准测试 <详情>

采用张量并行 RDMA 的 4 × M3 Ultra Mac Studio 上的 Qwen3-235B（8 位）

分享文章： 微博 QQ 微信 复制链接