GitHub 热门项目：TinyZero

GitHub 项目：TinyZero 仓库地址：https://github.com/Jiayi-Pan/TinyZero 星级：13197 | 作者：潘嘉仪 项目描述：DeepSeek R1-Zero的最小复现 =================================================== 自述文件内容： # 小零 > **⚠️ 弃用通知：** 该存储库不再被积极维护。要运行 RL 实验，请直接使用最新的 [veRL](https://github.com/volcengine/verl) 库。 > 存档的原始文档请参见[OLD_README.md](./OLD_README.md)。  TinyZero 是 [DeepSeek R1 Zero](https://github.com/deepseek-ai/DeepSeek-R1) 在倒计时和乘法任务中的复制品。我们建立在 [veRL](https://github.com/volcengine/verl) 之上。 通过强化学习，3B 基础的 LM 可以自行开发自我验证和搜索能力。 您只需花费 < 30 美元即可体验顿悟时刻。 推特帖子：https://x.com/jiayi_pirate/status/1882839370505621655 完整实验日志：https://wandb.ai/jiayipan/TinyZero > 📢：我们发布了[自适应并行推理](https://github.com/Parallel-Reasoning/APR)，探索扩展推理模型的新维度。 ## 安装 ```` conda 创建-n 零 python=3.9 # 安装 torch [或者您可以跳过此步骤并让 vllm 为您安装正确的版本] pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121 #安装vllm pip3 install vllm==0.6.3 # 或者您可以安装 0.5.4、0.4.2 和 0.3.1 pip3 安装射线 # 版本 pip install -e 。 # 闪光关注2 pip3 安装 flash-attn --no-build-isolation # 生活质量 pip 安装 wandb IPython matplotlib ```` ## 倒计时任务 **数据准备** ```` conda 激活零 python ./examples/data_preprocess/countdown.py --local_dir {path_to_your_dataset} ```` ### 跑步训练 ```` conda 激活零 ```` 对于以下代码，如果您看到 VRAM 不足，请尝试将 `critic.model.enable_gradient_checkpointing=True` 添加到脚本中，并查看[此处](https://github.com/Jiayi-Pan/TinyZero/issues/5#issuecomment-2624161643)的讨论。 **单GPU** 适用于 <= 1.5B 的型号。对于Qwen2.5-0.5B基础，我们知道它无法学习推理。 ```` 导出N_GPUS=1 导出 BASE_MODEL={path_to_your_model} 导出 DATA_DIR={path_to_your_dataset} 导出 ROLLOUT_TP_SIZE=1 导出 EXPERIMENT_NAME=倒计时-qwen2.5-0.5b 导出 VLLM_ATTENTION_BACKEND=XFORMERS bash ./scripts/train_tiny_zero.sh ```` **3B+型号** 在这种情况下，基本模型能够发展复杂的推理技能。 ```` 导出N_GPUS = 2 导出 BASE_MODEL={path_to_your_model} 导出 DATA_DIR={path_to_your_dataset} 导出 ROLLOUT_TP_SIZE=2 导出 EXPERIMENT_NAME=倒计时-qwen2.5-3b 导出 VLLM_ATTENTION_BACKEND=XFORMERS bash ./scripts/train_tiny_zero.sh ```` ### 指导消融 我们也用 Qwen-2.5-3B Instruct 进行实验。 **数据准备** 为了遵循聊天模板，我们需要重新处理数据： ```` conda 激活零 python 示例/data_preprocess/countdown.py --template_type=qwen-instruct --local_dir={path_to_your_dataset} ```` **培训** ```` 导出N_GPUS = 2 导出 BASE_MODEL={path_to_your_model} 导出 DATA_DIR={path_to_your_dataset} 导出 ROLLOUT_TP_SIZE=2 导出 EXPERIMENT_NAME=倒计时-qwen2.5-3b-指示 导出VLLM_AT