当人工智能评审培训人工智能评审员时：科学判断的崩溃和缓解

arXiv:2609.20942v1 公告类型：新 摘要：大型语言模型 (LLM) 越来越多地参与科学评估，既作为自动评审员，又作为人类评审员的助手。随着模型生成的评论进入公共数据和未来的培训语料库，人工智能同行评审可能会变得递归：后来的评论者从早期模型产生的判断中学习。我们在受控环境中研究该反馈循环的一个步骤。从 Llama 3.1 8B 开始，我们首先根据 2018--2023 年的官方 ICLR 评论微调评论者，然后在 ICLR 2024 数据上训练四个后续模型，并系统地混合官方和模型生成的评论。我们的研究表明，引入综合评论会压缩评分分布并减少同一篇论文和语料库级别的语义多样性。我们称这种模式为$\textbf{科学判断崩溃}$。为了缓解这种失败模式，我们引入了 $\textbf{TrustReviewer}$，这是一个基于 LLM 的开源系统，用于生成人工智能和机器学习论文的同行评审。 TrustReviewer 在两个互补的阶段进行干预。为了进行训练时预防，我们在一个精心设计的语料库上对核心审阅者进行单一阶段的培训，该语料库旨在减少低质量和语义退化的监督。对于测试时校正，​​配对激活引导旨在进一步减轻判断崩溃的残余倾向，而无需进一步训练或额外的专家注释。总之，这些结果表征了递归评审员培训的具体风险，并为保持判断多样性和改善人工智能辅助科学评估中的建议一致性提供了实际干预措施。