RLHF 偏好数据中的评估者状态偏差：审计框架

arXiv:2607.16195v1 公告类型：新 摘要：我们在人类反馈强化学习 (RLHF) 中发现了一个结构性混淆。成对偏好标签旨在反映比较的输出，但它们也可能反映评分者在注释期间的状态。在持续的压力或痛苦的情况下，评估者的偏好可能会随着时间的推移而改变。因此，偏好数据可以对评分者状态以及对响应质量的判断进行编码。这些转变不同于普通的分歧或随机标签噪音。它们是状态相关的，可以在相似条件下工作的注释者之间共享，并且可以通过奖励建模和策略优化进行传播。因此，我们建议将评估者状态转变作为 RLHF 偏好数据中结构性偏差的合理且可测试的来源。本文提出了一个假设和一个审计框架来研究这种偏见的来源。我们定义评估者状态转移、评估者状态混淆和相关评估者状态偏差。我们还将生存水平情感真实性定义为使用词汇、语用、话语和安全相关特征的可测量的反应模式。我们分析相关评估者状态偏差如何在聚合中幸存下来并输入学习到的奖励信号。我们为初步审计得出了五个可证伪的预测和效应大小阈值。最后，我们提出了一个审计协议和试点研究计划，可应用于公开可用的指令调整模型。我们不会推断任何特定部署模型的训练历史。我们的目标是在 RLHF 偏好数据中分离出合理且可测试的结构性偏差来源。