开源推荐
morning
GitHub 热门项目：mistral.rs
摘要
GitHub项目：mistral。rs 仓库地址：https://github。com/EricLBuehler/mistral。
mistral
and
https
github
ericlbuehler
2026-05-22
1 阅读
GitHub Trending
GitHub 项目：mistral.rs
仓库地址：https://github.com/EricLBuehler/mistral.rs
星级：7166 | 作者：埃里克·布勒
项目描述：快速、灵活的LLM推理
===================================================
自述文件内容：
## 最新
- **代理运行时**：网络搜索、带有模型反馈的本地 Python 代码执行、会话管理和自定义工具挂钩。 [指南](https://ericlbuehler.github.io/mistral.rs/tutorials/05-build-an-agent/)
- **Gemma 4**：完整的多模式：文本、图像、视频和音频输入。 [指南](https://ericlbuehler.github.io/mistral.rs/reference/supported-models/) | [视频设置](https://ericlbuehler.github.io/mistral.rs/guides/models/video-setup/)
- **MXFP4 ISQ 量化**：MXFP4 具有优化的解码内核，可实现更快、更小的模型。 [量化文档](https://ericlbuehler.github.io/mistral.rs/reference/quantization-types/)
## 为什么是mistral.rs？
- **任何 Hugging Face 模型，零配置**：只需 `mistralrs run -m user/model`。自动检测架构、量化格式和聊天模板。
- **真正的多模态**：文本、视觉、视频和音频、语音生成、图像生成以及嵌入在一个引擎中。
- **智能量化**：`--quant` 自动选择该级别的最佳量化格式：如果已发布，则使用预构建的 UQFF，否则应用 ISQ。 [文档](https://ericlbuehler.github.io/mistral.rs/tutorials/06-quantize-a-model/)
- **内置 Web UI**：默认在 `/ui` 处提供服务。内联显示推理、代码执行、绘图和文件。编辑任何消息，新分支将以其自己的 Python 状态运行。通过 `--no-ui` 来禁用。
- **硬件感知**：“mistralrs tune”对您的系统进行基准测试并选择最佳量化+设备映射。
- **灵活的 SDK**：用于构建项目的 Python 包和 Rust 箱。
- **本机代理支持**：内置[代理循环](https://ericlbuehler.github.io/mistral.rs/guides/agents/)，具有网络搜索、具有模型反馈的本地Python代码执行、会话管理和自定义工具挂钩。
## 快速入门
### 安装
**Linux/macOS：**
````bash
卷曲 --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh |嘘
````
**Windows（PowerShell）：**
````powershell
irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 |埃克斯
````
[手动安装及其他平台