自从 [Deepseek-R1](https://github.com/deepseek-ai/DeepSeek-R1) 推出以来，出现了许多专注于对其进行复制和改进的作品。在这个项目中，我们提出了 VLM-R1，一种稳定且可泛化的 R1 式大视觉语言模型。 具体来说，对于引用表达理解（REC）任务，我们使用 R1 和 SFT 方法训练 [Qwen2.5-VL](https://github.com/QwenLM/Qwen2.5-VL)。结果表明，在域内测试数据上，当训练步数较小（100-600步）时，SFT模型的性能与R1模型基模型相比变化不大，而R1模型则表现出稳定的提升（如下图左侧所示）。更重要的是，在域外测试数据上，SFT模型的性能随着步数的增加而略有恶化。尽管如此，强化学习模型将其推理能力推广到了域外数据（如下图右侧所示）。  \* *我们发现之前的 REC SFT exp 使用了不匹配的像素配置。因此，我们使用正确的配置对更复杂的域外数据重新运行研究。有关详细信息，请参阅我们的[发现](https://om-ai-lab.github.io/2025_03_24.html)。* ## 🚀 特点 该存储库支持： - **`GRPO 的全面微调`**：参见 [run_grpo_rec.sh](run_scripts/run_grpo_rec.sh) - **`冻结视觉模块`**：在脚本中将`freeze_vision_modules`设置为`true`。 - **`GRPO 的 LoRA 微调`**：参见 [run_grpo_rec_lora.sh](run_scripts/run_grpo_rec_lora.sh) - **`多节点训练`**：参见 [multinode_training_demo.sh](run_scripts/multinode_training_demo.sh) - **`多图像输入训练`**：参见 [run_grpo_gui.sh](run_scripts/run_grpo_gui.sh) - **`对于您自己的数据`**：请参阅[此处](#for-your-own-data) - **`各种VLM`**：参见[如何添加新模型](assets/add_new_model.md)，现在支持QwenVL和InternVL ##🗞️更新 - **`2025-08-29`**：🔥🔥🔥 我们对VLM-R1系列进行了进一步优化