大型语言模型可以审查科学文献吗？针对 102 篇文章基准的测试

arXiv:2611.05459v1 公告类型：新 摘要：大型语言模型 (LLM) 越来越多地用于支持科学文献综述，但评估通常检查单个任务而不是整个评审过程。我们分四个阶段评估六种人工智能工具：查找相关文章、解释它们、综合它们以及提出未来的研究。该基准是对西班牙羽状天气模式及其 102 篇文章的语料库的已发表评论。在最初的搜索中，五个工具总共识别出 57 篇文章，其中最好的单个工具找到了 42 篇文章。机构图书馆的访问将 Codex 的发现文章从 42 篇增加到 82 篇，Claude Code 的发现文章从 15 篇增加到 79 篇。鉴于 102 个 PDF 的完整语料库，三个工具正确识别了所有 18 篇实质性讨论西班牙羽毛的文章，但错误地将 84 篇提及内容中的 40% 到 79% 分类为实质性内容。同样的三个工具产生了由两位领域专家盲目评估的综合结果。尽管基本准确，但综合提供的见解有限，有时包含未经证实的主张、引用错误和夸大的共识陈述。最后，尽管基准审查中确定了两个问题，但所有三个工具都提出了比西班牙羽流文献更广泛的研究方向。没有任何一种工具能够在所有任务中表现最佳。我们为在文献综述中使用人工智能工具的研究人员提供了八项建议。我们的研究结果表明，法学硕士可以帮助发现和解释科学文献，特别是在可以进入机构的情况下，但不能取代评估证据或综合研究的专家判断。