「让AI研究AI」最新综述：三项关键决策框架，重新审视研究自主性

新智元报道 你让 AI 自动设计一种新的推理 算法 ：它能读论文、写代码、跑实验，还能根据结果不断修改方案。 看起来，整个研究过程已经交给了 AI 。 但如果研究问题由人类提出、允许修改的范围由人类划定、判断成功的标准也由人类设定，那么AI真正掌握了多少研究决策？它是在替人做实验，还是已经开始决定如何做研究？ 最近，南开大学联合中关村学院团队提出一篇综述，把AI研发拆成三个关键决策：搜索方向、搜索空间和评价信号，并据此提出L0–L3控制来源框架。 论文主页：https://www.preprints.org/manuscript/202610.2999 项目主页：https://ai4ai-research.github.io/ 图1：AI4AI研究全景。论文从研究控制权出发，梳理代表性工作、L0–L3控制来源，以及学习、推理、数据和基础设施四个应用分支。 研究自动化，不等于研究决策自动化 先看一个具体例子。假设AI正在为大语言模型寻找更好的推理策略。它可以自动生成候选方法、修改程序并运行基准测试。但下一步应该探索什么？允许它修改哪些部分？又应该依据什么判断新方法更好？ 这三个问题看似只是研发流程中的不同环节，实际上对应三种不同的控制权，只有把它们拆开，才能准确描述AI在研究中承担的责任。 下一步研究什么？ 假设实验发现，模型生成了很长的推理过程，准确率却没有提高。下一轮应该减少无效步骤、改变中间表示，还是调整候选答案的生成策略？ 这决定研究资源投向哪里，属于搜索方向（SearchDirection，D）。AI如果能根据实验历史诊断瓶颈、提出假设，并主动选择下一步干预，就不再只是执行人类给定的实验计划。 图2：发现循环中的三项决策。搜索方向决定探索什么，搜索空间决定允许探索哪些方案，评价信号决定如何判断结果。 允许尝试什么？ 搜索空间 即使AI能提出研究方向，它也可能只能在一个人类预先划定的空间里搜索。比如，只允许修改提示词，还是可以改写推理模块、设计新的算法构件，甚至重新定义这些构件的组合方式？ 这属于搜索空间（Search Space，S）。它不仅包括表示方式和可用模块，还包括合法的组合、编辑操作与准入约束。搜索空间决定了哪些算法能够被表达，也影响AI能否在有限预算内找到有价值的方案。 什么算成功？ 评价信号 一个新推理方法准确率更高，却消耗了三倍推理成本；另一个方法更快，却在困难任务上明显退步。系统应该留下哪一个？ 评价信号（Evaluation Signal，E）决定了什么会被视为进步，包括测试任务、奖励函数、判断规则、汇总方式和接受阈值。AI如果能够构建或实质性修改这些评价机制，它影响的就不只是候选方案，还包括研究本身的成功标准。 L0到L3 描述研究控制权的来源 基于三项决策，综述提出了四类控制权分配方式。 L0｜人类或外部规则给定三项决定。 比如研究人员事先列好实验顺序、可调参数和评分规则，程序负责执行。 L1｜ AI 决定下一步怎么搜。 以FunSearch为例，系统参考已有程序及其得分，提出下一轮代码修改。可修改的范围和检验程序由人类提供。 L2｜ AI 改变可搜索的方案。 比如DreamCoder会从已有解法中提炼可复用的子程序，把它们加入程序库。之后再遇到新任务，系统可以用这些新积木搭方案。评价仍由外部给定，搜索方向可以由人或AI决定。 L3｜ AI 提供实际影响训练或筛选的评价信号。 比如Eureka生成可执行的奖励函数，用它指导机器人策略训练。任务仍可由人类设定，AI参与决定的是训练中哪些行为会得到奖励。 这样的区分让研究贡献更容易被看清：同样生成了一段代码，系统可能在选择新的探索方向，也可能在构建后续研究使用的工具库，或者在编写决定候选去留的奖励函数。 四个分支 AI正在改进AI的哪些部分？ 除了分析决策来源，综述还按改进对象，将AI4AI组织为学习、推理、数据和基础设施四个分支。 图3：AI4AI四个研究分支：学习、推理、数据与基础设施。它们对应不同的改进对象，但都可以用三项决策框架分析。 AI4AI Learning：发现更好的训练方法 AI4AI Learning 关注会更新目标模型参数的研发过程，包括架构、优化器、学习规则、训练流程和适配方法。 例如，AutoML-Zero将学习算法本身作为搜索对象，用给定的数学原语组合并演化程序。研究者要考察的，既包括得到的算法表现，也包括哪些设计材料与约束仍来自人类。 AI4AI Inference：改进模型使用能力的方式 AI4AI Inference关注目标模型及适配器参数保持冻结时的改进。提示词、智能体工作流、工具库、上下文策略和推理时算力分配，都可以成为研究对象。 例如，DSPy优化程序模块的指令和示例，DreamCoder学习后续任务可复用的程序构件。 AI4AI Data：发现更有效的数据组织方式 AI4AI Data关注数据筛选、混合、增强、合成和课程安排。DoReMi就通过代理模型优化不同数据领域的混合权重。 这类工作的价值，需要在共同训练协议下检验：同样的训练过程，换用发现的数据策略后，模型能否稳定受益？数据构建和处理的成本，也应计入比较。 AI4AI Infrastructure：优化支撑AI的计算系统 AI4AI Infrastructure覆盖算子、编译调度、并行执行和硬件设计等环节。综述列举了AlphaEvolve对矩阵乘法分块启发式和TPU算术电路的优化应用。 它提醒我们，AI的下一次进步也可能来自更高效的计算实现，使同样的资源能够支持更多实验。 四个分支回答「AI改进什么 」 ，控制框架回答「哪些决策由AI作出 」 。 把两者结合起来，才能比较那些目标不同、实现方式不同的AI4AI系统。 下一步 走向AI驱动的超级智能 综述提出了几个值得进一步研究的问题。 一个空间在理论上能够表达好算法，是否意味着AI能在现实预算内找到它？ 两者之间可能存在很大距离。 设想系统可以修改任意Python程序。它的表达范围很广，但每次编辑可能影响许多相互依赖的细节。若把常见计算封装成可复用构件，并明确构件之间如何连接，同一种算法就可能用更短、更清晰的方式表示，搜索也获得了不同的修改路径。 论文讨论的新抽象、原语和组合规则，可以缩短有用方案的描述、改变搜索邻域，或排除无效组合。这些变化不一定扩大理论上可表达的算法集合，却可能让有价值的方案更容易被实际发现。 因此，空间的改进可以包括扩展，也可以包括压缩。保留有效可能性、减少无意义组合的空间，同样值得探索。 验证这种贡献时，需要固定或匹配搜索程序与计算预算，比较人类设计空间和AI构建空间，并计入空间构建成本。最终选出的一个高分方案，还需要与候选有效性、多样性、搜索成本和新任务表现一起分析。 对于自动算法设计，这提供了一个明确的研究切口：除了提高每次提案的质量，还可以研究如何组织候选方案，让有限实验更容易产生有价值的发现。 AI参与评价后怎样确认真实进步 当AI开始构建测试、奖励或判断规则时，它也在影响研究过程对「什么值得保留 」 的判断。 假设一个系统同时改进程序和测试，几轮迭代后，通过率不断提高。这个结果可能来自程序能力提升，也可能来自测试变得更容易。单看内