GitHub 热门项目：RLHF 奖励建模

GitHub 项目：RLHF-奖励建模 仓库地址：https://github.com/RLHFlow/RLHF-Reward-Modeling 星级：1531 | 作者：RLHFlow 项目描述：训练 RLHF 奖励模型的方法。 =================================================== 自述文件内容： # RLHF 奖励建模 ## 结构 该项目的初始版本重点关注 Bradley-Terry 奖励模型和成对偏好模型。从那时起，我们采用了更先进的技术来构建偏好模型。该项目的结构是 - [`bradley-terry-rm`](./bradley-terry-rm/) 训练经典的 Bradley-Terry 奖励模型； - [`pair-pm`](./pair-pm/) 训练成对偏好模型，该模型以提示和**两个响应**作为输入，并直接预测第一个响应被偏好的概率。我们将问题表述为用户和模型之间的聊天，以利用模型的下一个令牌预测能力，这在后续文献中被称为生成 RM。 - [`SSRM`](./pair-pm/SRRM/): 论文代码 [Semi-Supervised Reward Modeling via Iterative Self-Training](https://arxiv.org/abs/2409.06903) - [`RRM`](./pair-pm/RRM/)：利用因果推理来增强偏好数据集并减轻奖励黑客行为。参见 https://arxiv.org/pdf/2409.13156v1 - [`armo-rm`](./armo-rm/) 训练 ArmoRM，它从多目标奖励模型开始，奖励向量通过专家混合方法以上下文相关的方式聚合。有关详细信息，请参阅我们的技术报告 [[ArmoRM] 通过多目标奖励建模和专家混合实现可解释的偏好](https://arxiv.org/abs/2406.12845)。 - [`odin-rm`](./odin/) 将奖励模型与长度偏差分开。参见 https://arxiv.org/pdf/2402.07319 - [`math-rm`](./math-rm/)：使用下一个令牌预测训练过程监督奖励（PRM）和结果监督奖励（ORM）的代码。我们开源数据、代码、超参数和模型，以获得易于复制的强大配方。 - [`decison_tree`](./decision_tree/)：使用和训练决策树奖励模型的代码。有关技术细节，请参阅[通过决策树的镜头解释语言模型偏好](https://rlhflow.github.io/posts/2025-01-22-decision-tree-reward-model/)。 ## 新闻 ???????????????????????????????????????????????????????????????? ? **[Jan 2025]** 决策树奖励模型训练代码在 `decision_tree/` 文件夹下发布！ [Decision-Tree-Reward-Gemma-2-27B](https://huggingface.co/RLHFlow/Decision-Tree-Reward-Gemma-2-27B) 在 RewardBench 上取得了新的最先进分数 (95.4%)！ ? **[Nov 2024]** PRM 和 ORM 训练代码在 `math-rm/` 文件夹下发布！ ? **[Sep 2024]** ArmoRM 训练代码在 `armo-rm/` 文件夹下发布！ ? **[2024 年 9 月]** [通过迭代自我训练进行半监督奖励建模](https://arxiv.org/abs/2409.06903) 的代码已在 `pair-pm/` 文件夹下发布 ? **[Jun 2024] 我们的 [ArmoRM](https://huggingface.co/RLHFlow/ArmoRM-Llama3-8B-v0.1) 是 RewardBench 上排名第一的 8B 模型！** ? **[2024 年 5 月] RewardBench 上排名前 3 的开源 8B 奖励模型 ([ArmoRM](https://huggingface.co/RLHFlow/ArmoRM-Llama3-8B-v0.1)、[Pair Pref. Model](https://huggingface.c