首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI evening

翁荔新博客提出「自进化先从Harness开始」,DeepSeek崔添翼转发附议

2026-07-08 1 阅读 约9分钟阅读 听雨
分享:
字号:
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 翁荔新博客提出「自进化先从Harness开始」,DeepSeek崔添翼转发附议 听雨 2026-07-08 16:55:30 来源: 量子位 崔添翼:这个方向很容易出成果 听雨 发自 凹非寺量子位 | 公众号 QbitAI 前OpenAI安全副总裁、Thinking Machines Lab联创 翁荔 ,又发新博客了。 这回讨论的是AI自进化,她提出了一条现实路径: 不一定从模型直接改写自己的权重开始,而是先从Harness开始 。 这篇博客题为《Harness Engineering for Self-Improvement》。 其中, Harness 可以简单理解为模型外部的运行系统,决定模型如何调用工具、管理上下文、读写文件、拆分任务、调用子Agent、验证结果,以及从失败中复盘。 DeepSeek研究员 崔添翼 也第一时间转发了,还画了重点: Harness方向的自进化,和模型方向的自进化一样,都是非常可能出成果的方向。 他还提出,Skill就是Harness自进化中比较初级的一种形式:从 prompt层面进行自进化。 博客原文信息量巨巨巨大,请各位看官做好心理准备~ 自进化可能先发生在Harness层 翁荔这篇博客讨论的核心概念,是 RSI (Recursive Self-Improvement), 递归自我改进 。 这个概念最早带有很强的AGI色彩,指的是一个智能系统能够改进产生自身智能的机制,从而产生更强的后继系统。 但翁荔在这篇博客里,把这个问题拆得更工程化。 在今天的AI系统里,自我改进未必只意味着模型直接改写自己的权重。 它也可能意味着,模型改进训练流程、研究流程和部署系统,进而帮助下一代系统在真实任务中表现得更好。 △AI生成 而Harness,就是部署系统里最关键的一层。 过去谈Agent,常见说法是「LLM+记忆+工具+规划+行动」。 但在翁荔看来,Harness已经不只是早期Agent框架里的几个模块,而是更接近运行时和软件系统设计。 它决定模型如何观察环境、如何行动、如何管理上下文、如何保存状态、如何评估结果,也决定模型能不能在一个长任务里持续迭代。 所以她的判断是:近期更可行的自进化路径,可能并非模型直接重写自己的大脑,而是 模型开始优化自己获得答案的方式 。 从Context Engineering到Self-Harness,优化层层递进 翁荔梳理了最近一批相关研究,可以看到一个很清楚的趋势: 优化对象正在从上下文、工作流,一步步深入到Harness本身 。 递进链条是:prompt→structured context→workflow→harness code→optimizer code。 随着模型越来越强,能被优化的对象也在变得更抽象、更通用。 第一层是 Context Engineering 。 最基础的问题是:Agent做长任务时,上下文塞得越来越多,很快就会失控。 翁荔在这里提到两个代表性工作: ACE 和 MCE 。 ACE (Agentic Context Engineering),把上下文当成一本会持续更新的「操作手册」,而不是一段越堆越长的提示词。 它靠三个角色配合:Generator负责生成任务轨迹,Reflector从成功和失败的轨迹里提炼要点,Curator把这些要点整理成结构化的条目、增量更新进手册里。 MCE (Meta Context Engineering),则更进一步。 它把「怎么管理上下文」和「上下文里具体放什么」拆成两层优化:外层进化管理上下文的技能,内层再用这个技能去优化具体任务的上下文。 翁荔认为,相比ACE还需要人工设计更新规则,MCE朝「自我管理的记忆」又迈进了一步。 第二层是 Workflow Design ,解决的是「模型该怎么干活」。 翁荔举了几个例子: AI Scientist搭了一条从提出想法、写代码、跑实验、分析结果,到写论文、同行评审的完整科研流水线。 ADAS更进一步,把「设计Agent工作流」本身当成一个可以被搜索的优化问题,让一个元智能体不断提出新的工作流设计并接受评估。 AFlow则把工作流表示成一张图,用蒙特卡洛树搜索去寻找更优的图结构。 这条线的递进在于:一开始是人类把任务流程工程化,后来是模型参与设计流程,再后来,流程结构本身也进入搜索空间。 也就是说,优化对象不再只是单个prompt,而是整个Agent如何组织行动。 第三层是 Self-Improving Harness 。 到这一层,模型不只是使用Harness完成任务,而是开始分析Harness哪里不好,并提出对Harness的修改。 翁荔重点提到Self-Harness这类工作,它的循环非常清楚。 第一步是 Weakness Mining (弱点挖掘)。 系统先收集Agent执行任务时留下的轨迹,包括工具调用、错误日志、失败结果、验证器反馈等。然后从中挖出反复出现的失败模式。 比如,模型总是在某类任务里遗漏文件,总是在某种测试失败后重复尝试无效修复,或者总是在上下文变长后丢掉关键约束。 第二步是 Harness Proposal (Harness提案)。 模型基于这些失败模式,提出对Harness的小范围修改。 重点在于「小范围」和「可验证」。 模型能看到的信息包括:当前Harness里哪些地方可以改、具体的失败模式、哪些「正确行为」必须保留、以及之前已经尝试过的修改记录。 提案要尽量聚焦在能被小范围改动解决的、可复现的问题上,而且不同提案之间要保持差异化。 第三步是 Proposal Validation (提案验证)。 候选修改不能直接合入,而是要经过测试验证。只有确认它确实提升表现,并且没有引入明显回归,才会成为下一版Harness的一部分。 翁荔提到,这套流程在MiniMax M2.5、Qwen3.5、GLM-5等不同模型上跑Terminal-Bench-2时,确实学出了针对不同模型薄弱点、各不相同的Harness配置。 不过她也直接指出隐患:一旦允许程序自己修改系统层代码,抽象边界就有被打破的风险,权限控制和安全层必须留在这个循环之外,reward hacking的老问题依然存在。 此外,翁荔还进一步提到了 Evolutionary Search (进化搜索)。 如果说Self-Harness更像是从失败中修补自己的工作系统,那么进化搜索则是把Harness直接变成一个可搜索对象。 它的逻辑更像自然选择: 先生成多个候选Harness,让模型基于已有版本做修改,再用benchmark或验证器评估表现,留下更好的版本,淘汰较差版本,然后继续下一轮。 她还特别提到 DGM (Darwin Gödel Machine):直接让一个coding agent去修改自己的Harness代码仓库本身。 实验里,用Claude 3.5 Sonnet做基座模型,从简单的初始配置出发,DGM进化出来的a
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱