首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

NEBench R1:评估大型语言模型中核域能力的推理基准

2026-11-18 1 阅读 约1分钟阅读 Liyan Wang, Longze Li, Mohamed Hassan, Isshu Lee, Dajie Sun, Ruimin Feng, Aleksandar Vakanski
分享:
字号:
arXiv:2611.21682v1 公告类型:新 摘要:大型语言模型 (LLM) 越来越多地被探索用于核工程中的知识密集型和安全关键型应用。然而,现有的核领域基准测试提供的内容范围有限,或者主要关注答案的准确性,而没有系统地评估潜在推理的质量。本研究引入了 NEBench R1,这是一个面向推理的基准,包含从美国核管理委员会 (NRC) 反应堆操作员许可考试中提取的 7,546 个独特的多项选择题,涵盖 18 个核设施。每题均根据NRC知识与能力目录进行分类,并附有官方解释,作为推理评估的参考。对六名法学硕士进行了评估,三个不同绩效等级的总体准确率从 34.0% 到 73.9% 不等。为了评估推理质量,一位法学硕士法官使用多维评分标准评估了正确回答的答案。尽管回答通常表现出很强的问题理解能力,但他们在事实和程序准确性以及干扰因素分析方面得分较低,这表明正确的答案不一定得到技术上合理的理由的支持。响应清晰度也不足以表明技术质量。此外,在两种前沿推理模型中,较长的推理轨迹都与较低的准确性相关,这表明推理长度可能反映了问题的难度,而不是提高了解决问题的能力。因此,推理令牌消耗可以提供用于识别潜在不可靠响应的附加信号。 NEBench R1 建立了评估答案准确性和推理质量的基准,为评估核工程法学硕士的领域能力和可靠性提供了基础。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱