Agent Harness到底怎么选？南洋理工大学安波团队最新研究给出答案

机器之心发布 开发 Agent 应用时，大家一定都为选择 Harness 纠结过：同一个模型接入不同 Harness，工具调用、上下文管理和错误恢复的方式都会发生变化，最终表现也可能相差很大。一套 Harness 在某类任务上表现突出，换到另一类任务后，却未必仍是最佳选择。 那么，不同任务究竟该选择哪套 Harness？是否存在一套能够稳定适配多种任务的通用方案？模型厂商提供的原生 Harness，又是否一定更适合自家模型？ 新加坡南洋理工大学安波教授团队在最新报告《Finding the Right Fit: Model–Harness Interactions across Agent Tasks》中，对这些问题进行了系统研究。 报告链接： https://arxiv.org/abs/2610.00917 实验代码仓：https://github.com/liyix/finding-the-right-fit 数据集：https://huggingface.co/datasets/yixuanli97/finding-the-right-fit 这篇报告不是在做一张简单的 Harness 排行榜，而是把模型与 Harness 视为一个整体进行比较。实验覆盖 OpenHands、DSH、PI 和 openJiuwen 四套可配置 Harness，并将 Codex–GPT 与 Claude Code–Claude 两组原生搭配作为参照。报告最终指向了一个很实际的结论：Harness 的好坏并不是固定属性，而是取决于它与模型、任务之间的具体组合。与其寻找一套 “放之四海而皆准” 的 Harness，不如围绕真实任务，对模型与 Harness 进行联合评估。 01 实验背景 为了考察 Harness 对 Agent 表现的影响，研究首先选取了四种可自由配置模型的 Harness： OpenHands、DeepSeek Harness（DSH）、PI 和 openJiuwen 。 实验分别为这四种 Harness 接入 Claude Opus 5、GPT-6 Astra、GLM-5.3、Kimi K3 和 DeepSeek V4 Pro。这样的交叉设计，可以观察同一个模型更换 Harness 后的表现变化，也能比较同一套 Harness 面对不同模型和任务时是否依然稳定。 除此之外，研究还加入了两组原生搭配作为参照： Claude Code–Claude 与 Codex–GPT 。由于 Claude Code 和 Codex 只接入自家模型，因此它们没有参与完整的交叉实验。 任务方面，研究选择了三个定位不同的任务集：TUA-Bench 侧重通用终端操作，ALE-CLI 聚焦专业工作流，Terminal-Bench 4 则包含难度更高的命令行任务。 表 1｜三个任务集及其评测方式 由于三个任务集的任务构成和评分标准不同，研究没有将结果合并为一个综合分数，而是分别进行比较。四种可配置 Harness、五个模型和三个任务集构成了 4×5×3 ， 共 60 项结果 ；再加上 Codex–GPT 与 Claude Code–Claude 在三个任务集上的 6 项原生搭配结果，最终形成了包含 66 项记录 的比较矩阵。 02 实验配置与数据 2.1 Harness 版本与运行配置 本次实验涉及四种可配置 Harness，以及 Codex 和 Claude Code 两种原生 Harness。所有 Harness 都通过 OpenRouter 调用模型，并固定路由到各模型的官方服务商；推理强度统一设为 high，上下文管理、重试和轮数上限等保持各 Harness 的默认设置。TUA-Bench 和 Terminal-Bench 4 使用 Harbor v0.22.0 运行，ALE-CLI 使用任务集自带的运行器，且在 ALE-CLI 上所有 Harness 都会接入任务集提供的 14 个计算机操作工具。 各 Harness 的版本如下： OpenHands ：openhands-tools 1.44.1 版本； DeepSeek Harness（DSH） ：0.1.1-rc.2 版本； PI ：v0.84.4 版本； openJiuwen ：0.1.18 版本。 Codex ：0.150.1 版本，仅与 GPT 搭配； Claude Code ：2.1.251 版本，仅与 Claude 搭配。 2.2 计分方式 为了尽可能统一不同组合的计分方式，研究采用了固定任务集分母： TUA-Bench：120 项任务； ALE-CLI：99 项任务； Terminal-Bench 4：63 项任务。 三个任务集分别按固定任务数计分（TUA-Bench 120 项、ALE-CLI 99 项、Terminal-Bench 4 63 项），TUA-Bench 和 ALE-CLI 允许部分得分，Terminal-Bench 4 按通过或未通过计分。因基础设施故障中断的任务进行了重跑，每个任务只按最后一次运行计一次分，没有得到有效结果的任务记 0 分。 2.3 实验数据 在上述口径下，三个任务集的完整结果如下。 图 1｜TUA-Bench 完整结果 openJiuwen 在 TUA-Bench 上表现出最广泛的优势：在四种可配置 Harness 中，它搭配五个模型时均取得最高分；即使加入原生 Harness，仍在其中四个模型上领先。值得注意的是，不同组合的领先幅度差异明显：openJiuwen 搭配 GLM 时仅小幅领先 OpenHands，搭配 Kimi 时则大幅领先 PI。 图 2｜ALE-CLI 的 99 项本地 Docker 任务结果 在 ALE-CLI 上，各 Harness 的优势开始分化：Claude 的最高分来自 Claude Code，GPT-6 Astra 更适合 PI，Kimi 仍然与 openJiuwen 配合最好，GLM 和 DeepSeek 的最高分则来自 OpenHands。 图 3｜Terminal-Bench 4 中 63 项非 H100 任务的结果 在更具挑战性的命令行任务集 Terminal-Bench 4 上，模型与 Harness 的适配差异更加明显：OpenHands 最适合 Claude Opus 5，PI 最适合 GPT-6 Astra，DSH 在 GLM 和 DeepSeek 上领先，openJiuwen 则继续为 Kimi 取得最高分。 这三张表并不是一份简单的 Harness 排行榜。更值得关注的是，当模型、Harness 或任务发生变化时，原有的领先关系能否继续保持。 03 实验结果分析 66 项实验结果呈现出两种看似矛盾的现象：一方面，更换 Harness 可能改变模型排名，同一模型的最佳 Harness 也会随任务变化；另一方面，部分模型与 Harness 的组合又能在多个任务集上保持优势。 这意味着，Harness 很难脱离具体模型和任务形成一套固定排名。 3.1 Harness 显著影响模型表现 Terminal-Bench 4 展示了一个典型的排名反转。 在 6