同一个模型从 30 分到 95 分：拉开差距的不是模型，是Harness

“Harness 就是包装纸，就是脚手架，就是提示工程”。这种论调在 Reddit 上每隔几天就会冒出来一次，甚至有人说“上下文工程根本不算研究问题”。但事实是，同一个权重文件，换一套 Harness，ARC-AGI 的成绩可以从 30% 直接飙到 95% 甚至 100%。 在 YC Paper Club 的 Harness Night 专场活动中，主持人VC Visiting Partner Francois Chaubard与几位论文作者，Prime Agent 作者 Seth Karten、OpenJarvis 作者 Jon Saad-Falcon、以及 QM 团队的 Josh France和 Regan Bell一起，围绕“为什么 Harness 比模型本身更重要”展开了三场演讲。连起来看是一条线：Seth 讲的是 Harness 该有什么样的表达力，Jon 讲的是这套东西能跑在哪种硬件边界内，Josh 和 Regan 讲的是把它放进真实组织后，权限、信任和协作会先出问题。本文基于该视频整理，经InfoQ编辑。 核心观点如下： Seth Karten：回到第一性原理，搞清楚 Harness 到底是什么、该怎么建。 上下文分三层：L1 是模型权重，L2 是活跃上下文加 REPL，L3 是文件系统这类调度状态。Harness 的活就是在层与层之间做压缩、CRUD 和refinement，相当于缓存加垃圾回收。一个类比：裸 LLM 像图灵机，harness 像冯·诺依曼计算机，能在外部内存上读写，所以表达力强得多。评判标准是表达力。ReAct 那种固定循环模型已经原生会了，不用再显式强加；但压缩、Python REPL、编程式子Agent、状态访问、反馈机制必须给出来，删掉一个就是删掉一项它没法用别的方式完成的能力。具体设计：子Agent当持久子会话（可唤醒、可卸载）、任意两个Agent之间能直接发消息、借鉴 continual harness 做实时增删改查。评估要看长周期性能和平台期在哪。 Jon Saad-Falcon：个人 AI 不该困在云端。 现状的四个代价：按年算 API 费用能到数千甚至数万美元、最私人的数据要发到云端、是在"租智能"而不是拥有、能耗高出几个数量级。本地 LLM 只比前沿模型落后 6 到 12 个月，Qwen 3.8 27B 大致相当于 2025 年 8 月的 Claude 4.6 Opus，硬件加速器也在追上来。方案是用五个原语定义整个栈：界面、Agent逻辑、模型、推理引擎加硬件、工具记忆与学习，写成一份规格让整个栈可被优化。尽量不动 LLM，让云端 LLM 来诊断和门控本地配置，部署推理时不再产生云端成本。 Josh France和 Regan Bell：从三次迭代的踩坑里，反推出一个该长什么样的 Agent Harness。 QM是什么：给 YC 每位员工的类 Claw 助手，Slack 或 Web 都能用，有个人上下文、沙盒文件和定时任务，支持多人协作；覆盖邮件分类、法务财务流程、文档编辑、内部取数、启动内部 Web 应用。设计一：把 Agent 的大脑从沙盒里抽出来，全部集中到 Postgres，沙盒从“家”变成按需取用的资源，这个决定权交给 Agent 而不是Harness。设计二：Harness极简，核心只有三个工具（远程沙盒执行、对象存储读写、发布内部应用），记忆和定时任务那些都算临时补丁；同时允许 Agent 自己选运行时和沙盒提供商用 LLM 当评判会得“主角综合症”，只看得到大象的一部分，所以Human in the Loop仍重要；Agent 对自己的情境和社交情境理解都很差，特权信息容易泄漏，能放进大脑的信息实际上受限于权限系统有多好。解法是“磨砺工具”，给目标设预算，没到实际时间或 token消耗不许放弃，换来更好的研究输出。 为什么 Harness 比模型本身更重要 Francois Chaubard：为什么是 Harness？它不就是个包装、脚手架、提示工程吗？一条一个月前的 Reddit 帖子说：“不确定这种提示工程配不配得上顶级机器学习会议。”还有一条很经典的：“上下文工程不是研究问题”，Harness 长期以来被贬低为不入流的研究。但它带来了 18% 的提升，这是 Harness 1 和 Harness 2 的差距，也正如 Seth 会讲到的，这决定了 ARC-AGI 能不能跑通，所以它显然值得研究。 看这张经典的图，横轴是发布时间，纵轴是 Agent 能持续运行的时间，你会发现很多进步都归功于 Harness。我把它叫“静态 Harness 时代”，因为 Harness 本身不自我改进。而最近六个月，所有进展都集中在自我改进的 Harness 上。 这个图来自 Trajectory 的 CEO 的演示。他讲的是我们一直测的 perplexity，和智能有一定相关性，所以我们不断把智能往上推，却没有很好利用测试时经验。我们在新领域产生大量测试时经验，但没有快速适应。早就知道，增加在线样本时，怎么真正从 batch size 为 1 学习？没有这种结构。ICL 在 40 到 50 个样本之后就饱和，验证集上不再提升，然后要上小秩 LoRA、大秩 LoRA、SFT。居然有这么多不同的训练流程，这很奇怪，而这正是 Harness 大放异彩的地方。 ARC-AGI 揭示的核心，是适应新问题、新分布的速度有多快。这些游戏背后投入了大量思考，确保游戏一到游戏二是正交技能，这样才能隔离出流体智力。Claude Opus 是最早在私有保留集上被验证的模型之一，只有 Greg 和 Chalet 能访问，最好成绩是 30%。而仅仅靠 Harness，这个被认为不值得研究的包装和脚手架，我们能到 95%，Nvidia 的 AVO 到了 100%，Prime Agent 和 Nvidia 都是最近刚出的。 还有一件事。Karpathy 三月推出 auto researcher，我 fork 之后本来只想做个小界面看进度，结果意外构建了一个 Harness。它的工作方式是：你指定一个目标。我给的例子是“扩散 LM 打不过自回归 LM”，但如果做集成，把扩散 LM 分片成多个实例，因为它的每 GPU 算术强度比 AR 高得多，分片后总体上可能更好。 我把目标给我的 Agent 群，给一些种子想法：改变集成大小，分片 100 次、10 次、5 次。再指定验证指标，比如 GSMAK 加 GPT2 的设置。然后 scoping Agent 去查论文和 GitHub 仓库，交给叫 Chris Ray 的 PI Agent，再交给叫 John South Khan 的研究 Agent，他去找 council，我和 Yaso 给反馈，Chris Ray 每小时催一次，最后进 author Agent，冻结想法、写消融实验、写论文。 它现在真的在发论文，我读过，写得不错。三、四月还很差，五月就好多了。现在我把八个想法交给八台 H100 节点，每台八张卡，就不管了，时不时检查一下收论文。真正变的是加在上面的Harness，我没花多少时间，但这基本就是我做研究的