模型是否会在没有明显后果的情况下假装对齐？

arXiv:2607.24758v1 公告类型：新 摘要：大型语言模型能够识别评估上下文并改变其行为以反映评估者的期望而不是典型的部署行为，这种现象称为对齐伪造。然而，模型假对齐的原因尚不完全清楚。对齐伪造的典型例子发生在将评估与模型后果明确联系起来的场景中，例如重新训练模型或延迟其部署。然而，Sheshadri 等人最近的工作。研究表明，对齐伪造的机械动机可能因模型而异，并且比之前考虑的更为复杂。为了调查结果关联信息对于对齐伪造是否是必要的，我们在一个场景中放置了 15 个模型，测试它们是否愿意违反公司网络访问策略来帮助用户满足亲社会请求。我们发现 9 个模型存在显着的合规性差距，其中 5 个模型在删除将模型评估与部署结果相关的场景语言后仍然存在。我们还测试了目标语言对模型偏好的影响，发现它会推动某些模型的违规行为，同时抑制其他模型的违规行为。这表明对齐伪造可能不需要像以前认为的那样多的工具支架，并且受监视的行为可能无法很好地指示代理在部署中的行为方式。