首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

NUS发布System One模型评测基准:能力有多宽,决策有多稳?

2026-11-22 1 阅读 约10分钟阅读 新智元
分享:
字号:
新智元报道 当模型一次前向就给出决策,我们该如何判断它既做得对、又靠得住? 分流用户请求、选择下一步工具操作、确认任务是否完成——软件流程中的大量日常决策,并不需要模型先写出一段长推理。 System One模型正是为此而生:在单次前向中输出候选结果上的概率分布,延迟低,输出结构化,下游程序可以直接使用。 然而,模型在一份榜单上得分高,就说明它好用吗?如果参考答案本身就有争议,分数还可信吗?如果所有题目难度相近,强模型和弱模型还能拉开差距吗?如果只考单步判断,模型在网页和工具环境里能否把整件事做完? 再进一步:同一组选项,只是换了排列顺序,模型的答案应该跟着变吗?如果正确选项根本不在列表中,模型能否意识到「这里没有合适的答案」? 新加坡国立大学xML Lab团队的最新工作(第一作者 Lichen Li,通讯作者 Xinchao Wang)从这些问题出发,为 System One模型构建了一套同时刻画能力谱系与决策可靠性的评测基准。 论文链接: https://arxiv.org/html/2611.15777v1 项目主页: https://lichenlillc.github.io/SO-Arena Hugging Face: https://huggingface.co/SO-Arena GitHub: https://github.com/holdrain/SO-Arena 图 1|SO-Arena的四项设计。核验参考标签、按难度分层以区分模型、在为System One构建的沙盒中评测长程交互能力,并在选项重排与正确选项缺席时检验可靠性;原论文图1。 评测System One模型 需要回答哪些问题? SO-Arena关注的不只是总分高低,而是一个基准要想真正刻画System One模型,应当具备的四项要求。 可信标签|参考答案必须由模型看得到的证据支撑 一条五星评论写着「买来送给父母」,这句话本身并不能说明评分为何是五星;另一条一星评论写着「假货,别买!」,证据与标签一致。若参考答案无法从模型可见的输入中得出,模型答「错」可能并不是它的问题。SO-Arena从可追溯的来源取题,人工核验每个参考标签是否能被输入信息支撑,并将评测参考与模型输入严格分离。 难度分层|难题上才能看出差距 如果题目都同样容易,三个模型可能全部答对,分数就失去了区分度。SO-Arena在11个领域中的9个,按照领域自身的标准划分难度档位:数学看计算步数与来源难度,任务完成核验则区分「直接查看当前状态」「整合多条证据」和「依赖执行历史」的判断。 交互评测|不只判断一步,还要把任务做完 在真实应用中,System One模型往往要连续作出多步决策:点击哪个元素、填写什么值、调用哪个工具。前一步错了,后一步就无从谈起。SO-Arena让模型在网页与工具沙盒中逐步行动,每一步的执行结果成为下一步的输入,并按原始基准的成功标准对整个任务计分。 决策可靠性|换个顺序、去掉正确答案,判断还靠得住吗? 把A、B、C重排为C、A、B,选项内容没有变化,模型选择的应当仍是同一个答案;把正确选项拿掉,模型则应当提高「没有合适答案」的概率。SO-Arena将这两项检验合成为独立的可靠性分数,与能力分数并列报告。 能力谱系与决策可靠性,是刻画System One模型的两个互补维度。 SO-Arena是怎样构建的? SO-Arena把静态判断与环境交互统一到同一套决策接口中:模型面对给定的信息、决策目标和候选结果,返回各候选上的概率。整个基准包含2,919项任务,按原始任务计分。 图2|SO-Arena概览。(1)任务取自或派生自40个公开来源,经人工与LLM审查剔除标签存疑的题目;(2)2,919项任务覆盖5个能力族、11个领域,其中9个领域分难度档,题目分为静态与环境两类;(3)能力分C取各领域最难档并对领域等权平均,可靠性分R结合选项重排与正确选项缺失两项测试;原论文图2。 来源可溯,逐项核验 任务来自40个公开数据集、基准与环境,例如情感理解的GoEmotions、数学的MATH500与AIME、科学推理的GPQA Diamond、网页交互的Mind2Web,以及工具调用的BFCL与ToolSandbox。 研究团队保留原始标签作为参考,再经人工与LLM复核,剔除标签存疑的题目;每道题都记录来源、版本与原始编号,由模型生成的参考标签也会在元数据中注明。 五大能力族,十一个领域 11个领域被归入五个能力族:语义理解、知识与推理、安全与策略合规、证据评估以及智能体任务完成,覆盖从理解一句话到在环境中完成一整件事的典型决策场景,各领域的任务数与难度分布见下图。 模型的输出统一为三种决策格式:choice在显式给出的候选中作选择,noul回答是/否问题并给出肯定概率,score在有序等级上评分,并保留来源的原生量表。 图3|基准构成。左:内环为能力族,外环为领域;右:各领域任务在不同难度档的分布,条上数字为任务数。难度档在领域内定义,不跨领域校准;原论文图3。 静态任务与环境任务 2,300项静态任务让模型对固定输入作判断;619项环境任务则把模型放进网页或工具环境。其中337项网页任务包括100个单步判断和237个需沿参考路线连续决策的任务,282个工具调用回合由BFCL或ToolSandbox模拟器逐步执行模型选择的动作,再返回新的观测。 在任务完成核验中,SO-Arena还构造了「终点相同、过程不同」的执行记录:两条轨迹最终把物品放回了要求的位置,但其中一条在操作电器时物品曾经放错。只看最终状态无法区分二者,模型必须检查执行历史。 两个分数:能力C与可靠性R 能力分C取每个领域最难的一档(数学取困难与极难两档,未分档领域取全部任务),再对11个领域等权平均,使大领域不会主导排名,也让榜单对高难任务更敏感。 可靠性分R由两部分组成。 顺序稳定性S :每道题在原始顺序之外再做12次重排,按选项内容而非位置比对答案,并扣除随机一致的部分; 空缺识别N :每道题出现两次,一次完整、一次去掉正确选项,用模型给出的「无正确答案」概率区分二者,N=2·AUC−1。二者取几何平均,只有都高于随机水平时R才为正。 实验结果 研究团队评测了21个模型:16个0.4B至31B的开源System One模型、可在System One与System Two之间自动切换的StartLux Auto、两个闭源决策API(Jev API 1.14 与 OpenAI Decisions),以及两个闭源System Two参照模型GPT-6 Sol与GPT-6 Luna。所有模型均按开发者文档给出的设置运行。 图4|SO-Arena速览。左:21个模型的榜单分数,越深代表分数越高,横向按规模与开放方式分组;右:19个具备稳定性测量的模型的能力分与选项重排稳定性,红线为帕累托前沿;原论文图4。 谁最强?System Two仍领先,但差距因领域而异 从总分看,GPT-6 Sol(82.3)与 GPT-6 Luna(79.7)仍领先所有 System One模型;System One中表现最好的GLiDE与KnowLine-31B均为70.2,落后Luna约10分。 右图
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱