开源推荐
morning
GitHub 热门项目：torchchat
摘要
GitHub项目：torchchat 仓库地址：https://github。
Llama
llama
and
torchchat
meta
2026-05-25
1 阅读
GitHub Trending
GitHub 项目：torchchat
仓库地址：https://github.com/pytorch/torchchat
星级：3624 | 作者：pytorch
项目描述：在服务器、桌面和移动设备上本地运行 PyTorch LLM
===================================================
自述文件内容：
# 与世界各地的法学硕士聊天
torchchat 是一个小型代码库，展示了无缝运行大型语言模型 (LLM) 的能力。借助 torchchat，您可以在自己的 (C/C++) 应用程序（桌面或服务器）以及 iOS 和 Android 上使用 Python 运行 LLM。
> [!重要]
> torchchat 不再积极开发。请参阅此[帖子](https://github.com/pytorch/torchchat/issues/1543)了解更多详细信息
> 更新
>
> **2025 年 2 月 3 日**：torchchat 支持 [**DeepSeek R1 Distill: 8B**]( https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-8B)！
>
> **2024 年 9 月 25 日**：torchchat 为 **Llama3.2 11B** 提供多模式支持！
>
> 要尝试一下，请完成下面的[安装](#安装)部分，然后跳
> 请参阅我们的[多模式指南](docs/multimodal.md) 以了解更多信息。
## 你可以用 torchchat 做什么？
- [通过 PyTorch / Python 运行模型](#running-via-pytorch--python)
- [聊天](#聊天)
- [生成](#生成)
- [在浏览器中运行聊天](#browser)
- [不使用 python 在桌面/服务器上运行模型](#desktopserver-execution)
- [使用 AOT 电感器以加快执行速度](#aoti-aot-inductor)
- [使用运行器在 C++ 中运行](#run-using-our-c-runner)
- [在移动设备上运行模型](#mobile-execution)
- [在 iOS 上部署和运行](#deploy-and-run-on-ios)
- [在 Android 上部署和运行](#deploy-and-run-on-android)
- [评估模型](#eval)
## 亮点
- [[新！！] Llama 3.2 11B 的多模式支持](docs/multimodal.md)
- 与流行的法学硕士（例如 Llama 3、Llama 2、Stories、Mistral 等）进行命令行交互
- PyTorch 原生执行与性能
- 支持流行的硬件和操作系统
- Linux (x86)
- Mac 操作系统 (M1/M2/M3)
- Android（支持 XNNPACK 的设备）
- iOS 17+ 和 8+ Gb RAM（iPhone 15 Pro+ 或采用 Apple Silicon 的 iPad）
- 多种数据类型，包括：float32、float16、bfloat16
- 多种量化方案
- 多种执行模式，包括：Python（Eager、Compile）或 Native（AOT Inductor (AOTI)、ExecuTorch）
## 型号
以下模型受 torchchat 支持并具有关联
别名。
|型号|移动友好 |笔记|
|------------------|---|---------------------|
|[meta-llama/Meta-Llama-3.2-3B-Instruct](https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct)|✅|针对“聊天”进行了调整。别名为“llama3.2-3b”。|
|[meta-llama/Meta-Llama-3.2-3B](https://huggingface.co/meta-llama/Llama-3.2-3B)|✅|最适合“生成”。 “llama3.2-3b-base”的别名。|
|[meta-llama/Llama-Guard-3-1B](https://huggingface.co/meta-llama/Llama-Guard-3-1B)|✅|针对分类进行了调整。别名为“llama3-1b-guard”。|
|[meta-llama/Meta-Llama-3.2-1B-Instruct](https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct)|✅|针对“聊天”进行了调整。别名为“llama3.2-1b”。|
|[meta-llama/Meta-Llama-3.2-1B](https://huggingface.co/meta-llama/Llama-3.2-1B)|✅|最适合“生成”。 “llama3.2-1b-base”的别名。|
|[meta-llama/Llama-3.2-11B-Vision-Instruct](https://huggingface.co/meta-llama/Llama-3.2-11B-Vision-Instruct)||多模式（图像+文本）。时间