GitHub 热门项目：open-r1

GitHub 项目：open-r1 仓库地址：https://github.com/huggingface/open-r1 星级：26432 | 作者：拥抱脸 项目描述：DeepSeek-R1全开放复刻 =================================================== 自述文件内容： # 打开R1 *DeepSeek-R1 的完全开放复制品。该存储库正在开发中，让我们一起构建它！* **目录** 1. [概述](#overview) 2. [攻击计划](#plan-of-attack) 3. [安装](#安装) 4. [训练模型](#training-models) - [SFT](#sft) - [GRPO](#grpo) 5. [评估模型](#evaluating-models) 6. [再现Deepseek的评估结果](#reducing-deepseeks-evaluation-results) 7. [数据生成](#data- Generation) - [从 smol distilled R1 模型生成数据](#generate-data-from-a-smol-distilled-r1-model) - [从 DeepSeek-R1 生成数据](#generate-data-from-deepseek-r1) 8. [贡献](#contributing) ## 概述 此存储库的目标是构建 R1 管道中缺失的部分，以便每个人都可以在其之上进行复制和构建。该项目设计简单，主要包括： - `src/open_r1`：包含训练模型以及生成合成数据的脚本： - `grpo.py`：在给定数据集上使用 GRPO 训练模型。 - `sft.py`：在数据集上执行模型的简单 SFT。 - `generate.py`：使用 [Distilabel](https://github.com/argilla-io/distilabel) 从模型生成合成数据。 - `Makefile`：包含利用上述脚本的 R1 管道中每个步骤的易于运行的命令。 ### 攻击计划 我们将使用 DeepSeek-R1 [技术报告](https://github.com/deepseek-ai/DeepSeek-R1) 作为指导，大致可以分为三个主要步骤： * 步骤 1：通过从 DeepSeek-R1 中提取高质量语料库来复制 R1-Distill 模型。 * 步骤 2：复制 DeepSeek 用于创建 R1-Zero 的纯 RL 管道。这可能涉及为数学、推理和代码整理新的大规模数据集。 * 第 3 步：展示我们可以通过多阶段训练从基础模型过渡到 RL 调整。 <中心> ## 新闻🗞️ * **🧑‍🍳 [2025/05/26]（第 1 步已完成！）** 我们发布了 [**Mixture-of-Thoughts**](https://huggingface.co/datasets/open-r1/Mixture-of-Thoughts)——从 R1 中提取的 35 万条经过验证的痕迹的精选推理数据集。该数据集涵盖数学、编码和科学领域的任务，旨在教授语言模型逐步推理。我们还提供了训练 [OpenR1-Distill-7B](https://huggingface.co/open-r1/OpenR1-Distill-7B) 的方法，它复制了 [deepseek-ai/DeepSeek-R1-Distill-Qwen-7B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B) 的推理能力，并标志着步骤 1 的完成在 Open R1 项目中。 * **⚡️ [2025/03/11] [(update #3)](https://huggingface.co/blog/open-r1/update-3):** 我们发布了 [**CodeForces-CoTs**](https://huggingface.co/datasets/open-r1/codeforces-cots) 数据集，其中包含从 R1 中提取的 10k 竞争性编程问题和 100k 解决方案。我们还发布了 IOI24：国际奥林匹克竞赛中_非常_难题的新基准。在 Cod 上训练的 7B Qwen 模型