首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

Astra 6.2 和 Sol 6.2 在 Simple Bench 上失败

摘要

We introduce SimpleBench , a multiple-choice text benchmark for LLMs where individuals with unspecialized (high school) knowledge outperform SOTA models. SimpleBench includes over 200 questions coveri...

the SimpleBench and LLMs questions human our text knowledge outperform
2026-11-22 1 阅读 约1分钟阅读 algoth1
分享:
字号:
我们引入了 SimpleBench,这是一个针对 LLM 的多项选择文本基准,其中具有非专业(高中)知识的个人的表现优于 SOTA 模型。 SimpleBench 包含 200 多个问题,涵盖时空推理、社交智能以及我们所说的语言对抗鲁棒性(或技巧问题)。对于绝大多数基于文本的基准,法学硕士的表现优于非专业人士,并且越来越多地超过专家的表现。然而,在 SimpleBench 上,基于我们九名参与者的小样本,非专业人类基线为 83.7%,优于所有测试的 LLM,包括当今的顶级模型 Claude Fable,其得分为 81.9%。虽然我们预计模型性能会随着时间的推移而提高,但 SimpleBench 的结果证实,前沿法学硕士所使用的记忆知识和近似推理检索并不总是足以回答基本问题。要更深入地了解我们的结果和方法,请在此处查看完整的技术报告。在 Simple Bench 应用程序上使用所有这些模型 - LMcouncil.ai
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱