“mistral-finetune”是一个轻量级代码库，可以对 Mistral 模型进行内存高效且高性能的微调。
它基于 [LoRA](https://arxiv.org/abs/2106.09685)，这是一种训练范例，其中大多数权重被冻结，并且仅训练低秩矩阵扰动形式的 1-2% 附加权重。
为了获得最大效率，建议使用 A100 或 H100 GPU。代码库已优化
对于多 GPU 单节点训练设置，但对于较小的模型（例如 7B），单个 GPU 就足够了。
> **注意**
>
> - 此存储库的目标是提供一个简单的引导入口点来微调 Mistral 模型。
> 因此，它是相当固执己见的（特别是在数据格式方面），并且并不旨在详尽无遗
> 跨多种模型架构或硬件类型。
> 对于更通用的方法，您可以查看其他一些很棒的项目，例如
> [torchtune](https://pytorch.org/torchtune/stable/overview.html)。
＃＃ 消息
- **13.08.2024**：[Mistral Large v2](https://mistral.ai/news/mistral-large-2407/) 现在与 `mistral-finetune` 兼容！
- 1. [此处](##model-download) 下载 123B 指令并将 `model_id_or_path` 设置为下载的检查点目录。
- 2. 微调 Mistral-Large v2 由于模型尺寸较大，需要明显更多的内存。现在将 `seq_len` 设置为 <= 8192
- 3. 与其他模型相比，建议使用较低的学习率，*例如* lr=1e-6 对于大多数情况应该效果很好。
- **19.07.2024**：[Mistral Nemo](https://mistral.ai/news/mistral-nemo/) 现在与 `mistral-finetune` 兼容！
- 1. 下载 12B Base 或 Instruct [此处](##model-download) 并将 `model_id_or_path` 设置为下载的检查点目录。
- 2. 运行 `pip install --upgrade milstra-common` 以获得支持 Tekkenizer 的版本 (`>=1.3.1`)。
- 3. 微调 Mistral-Nemo 目前需要更多内存，因为词汇量较大，这会增加 CE 损失的峰值内存需求（我们很快将在此处添加改进的 CE 损失）。现在将 `seq_len` 设置为 <= 16384
- 4.建议使用与7B v3相同的超参数。
## 安装
要开始 Mistral LoRA 微调，请按照以下步骤操作：
1. 克隆此存储库：
````
cd $HOME && git 克隆 https://github.com/mistralai/mistral-finetune.git
````
2. 安装所有必需的依赖项：
````
cd 米斯特拉尔-微调
pip install -r 要求.txt
````
## 模型下载
我们建议微调官方 Mistral 模型之一，您可以在此处下载：
|型号|链接 |校验和|
|----------------|----------------------
开源推荐
morning
GitHub 热门项目：mistral-finetune
摘要
GitHub项目：mistral-finetune 仓库地址：https://github。
the
mistral
finetune
Mistral
https
2026-05-25
1 阅读
GitHub Trending
GitHub 项目：mistral-finetune
仓库地址：https://github.com/mistralai/mistral-finetune
星级：3091 | 作者：米斯特拉莱
项目描述：暂无描述
===================================================
自述文件内容：
# 米斯特拉尔微调
“mistral-finetune”是一个轻量级代码库，可以对 Mistral 模型进行内存高效且高性能的微调。
它基于 [LoRA](https://arxiv.org/abs/2106.09685)，这是一种训练范例，其中大多数权重被冻结，并且仅训练低秩矩阵扰动形式的 1-2% 附加权重。
为了获得最大效率，建议使用 A100 或 H100 GPU。代码库已优化
对于多 GPU 单节点训练设置，但对于较小的模型（例如 7B），单个 GPU 就足够了。
> **注意**
>
> - 此存储库的目标是提供一个简单的引导入口点来微调 Mistral 模型。
> 因此，它是相当固执己见的（特别是在数据格式方面），并且并不旨在详尽无遗
> 跨多种模型架构或硬件类型。
> 对于更通用的方法，您可以查看其他一些很棒的项目，例如
> [torchtune](https://pytorch.org/torchtune/stable/overview.html)。
＃＃ 消息
- **13.08.2024**：[Mistral Large v2](https://mistral.ai/news/mistral-large-2407/) 现在与 `mistral-finetune` 兼容！
- 1. [此处](##model-download) 下载 123B 指令并将 `model_id_or_path` 设置为下载的检查点目录。
- 2. 微调 Mistral-Large v2 由于模型尺寸较大，需要明显更多的内存。现在将 `seq_len` 设置为 <= 8192
- 3. 与其他模型相比，建议使用较低的学习率，*例如* lr=1e-6 对于大多数情况应该效果很好。
- **19.07.2024**：[Mistral Nemo](https://mistral.ai/news/mistral-nemo/) 现在与 `mistral-finetune` 兼容！
- 1. 下载 12B Base 或 Instruct [此处](##model-download) 并将 `model_id_or_path` 设置为下载的检查点目录。
- 2. 运行 `pip install --upgrade milstra-common` 以获得支持 Tekkenizer 的版本 (`>=1.3.1`)。
- 3. 微调 Mistral-Nemo 目前需要更多内存，因为词汇量较大，这会增加 CE 损失的峰值内存需求（我们很快将在此处添加改进的 CE 损失）。现在将 `seq_len` 设置为 <= 16384
- 4.建议使用与7B v3相同的超参数。
## 安装
要开始 Mistral LoRA 微调，请按照以下步骤操作：
1. 克隆此存储库：
````
cd $HOME && git 克隆 https://github.com/mistralai/mistral-finetune.git
````
2. 安装所有必需的依赖项：
````
cd 米斯特拉尔-微调
pip install -r 要求.txt
````
## 模型下载
我们建议微调官方 Mistral 模型之一，您可以在此处下载：
|型号|链接 |校验和|
|----------------|----------------------
“mistral-finetune”是一个轻量级代码库，可以对 Mistral 模型进行内存高效且高性能的微调。
它基于 [LoRA](https://arxiv.org/abs/2106.09685)，这是一种训练范例，其中大多数权重被冻结，并且仅训练低秩矩阵扰动形式的 1-2% 附加权重。
为了获得最大效率，建议使用 A100 或 H100 GPU。代码库已优化
对于多 GPU 单节点训练设置，但对于较小的模型（例如 7B），单个 GPU 就足够了。
> **注意**
>
> - 此存储库的目标是提供一个简单的引导入口点来微调 Mistral 模型。
> 因此，它是相当固执己见的（特别是在数据格式方面），并且并不旨在详尽无遗
> 跨多种模型架构或硬件类型。
> 对于更通用的方法，您可以查看其他一些很棒的项目，例如
> [torchtune](https://pytorch.org/torchtune/stable/overview.html)。
＃＃ 消息
- **13.08.2024**：[Mistral Large v2](https://mistral.ai/news/mistral-large-2407/) 现在与 `mistral-finetune` 兼容！
- 1. [此处](##model-download) 下载 123B 指令并将 `model_id_or_path` 设置为下载的检查点目录。
- 2. 微调 Mistral-Large v2 由于模型尺寸较大，需要明显更多的内存。现在将 `seq_len` 设置为 <= 8192
- 3. 与其他模型相比，建议使用较低的学习率，*例如* lr=1e-6 对于大多数情况应该效果很好。
- **19.07.2024**：[Mistral Nemo](https://mistral.ai/news/mistral-nemo/) 现在与 `mistral-finetune` 兼容！
- 1. 下载 12B Base 或 Instruct [此处](##model-download) 并将 `model_id_or_path` 设置为下载的检查点目录。
- 2. 运行 `pip install --upgrade milstra-common` 以获得支持 Tekkenizer 的版本 (`>=1.3.1`)。
- 3. 微调 Mistral-Nemo 目前需要更多内存，因为词汇量较大，这会增加 CE 损失的峰值内存需求（我们很快将在此处添加改进的 CE 损失）。现在将 `seq_len` 设置为 <= 16384
- 4.建议使用与7B v3相同的超参数。
## 安装
要开始 Mistral LoRA 微调，请按照以下步骤操作：
1. 克隆此存储库：
````
cd $HOME && git 克隆 https://github.com/mistralai/mistral-finetune.git
````
2. 安装所有必需的依赖项：
````
cd 米斯特拉尔-微调
pip install -r 要求.txt
````
## 模型下载
我们建议微调官方 Mistral 模型之一，您可以在此处下载：
|型号|链接 |校验和|
|----------------|----------------------