代理领军大考！Einsia AI发布WorkflowArena，行业首个多智能体编排基准

机器之心发布 智能体正从单打独斗走向多智能体协同。 如今的 Claude Code、Codex 等框架，已经允许模型在运行时自己拉起子智能体，甚至直接写出调度它们的可执行工作流：任务怎么拆、每个子智能体拿到什么上下文、中间结果在哪里校验、最后如何整合。过去由工程师预先设计好的多智能体结构，正在交给模型自己临场决定。 这意味着， 多智能体编排 本身成了一项关键能力。同样一批智能体，组织得好可以事半功倍，组织得不好则会互相拖累。但现有评测要么只看任务最终有没有完成，要么在设计者预先规定好的协作结构里测试，始终没有回答一个问题： 「面对真实的长程任务，大模型能不能自己把多智能体系统组织好？」 为此，Einsia AI 旗下 Navers Lab 发布 WorkflowArena ，专门评测大模型的多智能体编排能力。基准包含 145 项长程任务 ，覆盖软件工程、企业运营、科学研究、数学推导、金融、法律、内容设计与 3D 制作 8 大专业领域 ，对 9 个主流前沿模型的 25 种推理配置 进行了全面评测。 WorkflowArena 的 145 项任务分布在 8 大领域、17 种任务形态 论文题目：WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems 项目主页：https://lab.einsia.ai/workflowarena GitHub：https://github.com/Einsia/WorkflowArena Arxiv：https://arxiv.org/pdf/2611.12856 不规定怎么分工，只看最终交付 WorkflowArena 的每道题，都是一份真实的专业交付：修改一个开源代码库、复现一项科学结果、完成一套 Lean 形式化证明、编制一份多主体合并报表、分析一起多被告案件，或在 Blender 里搭出一座完整的建筑群。 这些交付物的共同点是， 各部分环环相扣 ：代码改动要通过原有的回归测试，财务数据要在不同主体之间对得上，法律结论要在多份文书间保持一致，3D 场景的各个部件要拼得严丝合缝。每一块单独做对还不够，整合在一起才算数。 能拆、但拆完必须对齐，正是编排能力的用武之地 ：比如合同组合分析，每份合同可以分头审，但合同之间的冲突必须合起来才看得出。 WorkflowArena 构建流程：真实素材 → 筛选「可拆分但相互耦合」的工作 → 只规定目标、不规定工作流 → 校验结果与整合。 评测中，模型拿到的是一个空白的「指挥台」： 怎么编排，模型自己定 。它可以自己动手，也可以通过 Workflow 工具同时调度多个子智能体，并随时查看、终止、修改工作流。要不要分工、怎么分工，完全由模型决定。每个子智能体该知道什么，也由它来交代。 编排也要花时间 。主智能体和所有子智能体共享推理预算，规划、调度、返工都算在里面。 判题隐藏，过程留痕 。模型看不到判题器和标准答案，评分只看交付结果，与用了多少子智能体无关；同时，每一次调度都被完整记录下来。 这样一来，WorkflowArena 不仅能看到「做得怎么样」，还能看到「是怎么组织起来做的」。 最强系统也只解决 36.95%，没有全能选手 WorkflowArena 采用严格的完全解决率：只有交付物满足全部验收标准，才算真正解决。各部分都做对、却没整合好的提交，同样判为失败。 25 种配置在 8 大领域的完全解决率（%），按总体结果排序。 榜首是 Claude Opus 5.5（max） ，平均完全解决率 36.95% 。换句话说，即便是当前最强的系统，也有六成以上的任务没能完整交付。 领域之间的差距更加悬殊。形式化数学已接近饱和，Claude Opus 5.5 解决了 95.83% ；但软件工程最高只有 29.41%，金融最高 18.75%，法律最高仅 9.09% 。 而且， 没有一个系统能通吃全部领域 ：Claude Opus 5.5 领跑软件工程、科学与数学，Claude Sonnet 5.5 拿下法律和内容设计，GPT-6 Astra 与 Doubao-Seed-Evolving 则拿下企业运营的并列第一。 Claude 与 GPT：两种截然不同的编排风格 由于每一次调度都被记录在案，WorkflowArena 把不同模型「怎么组织多智能体」摆在了同一张图上。 每道题平均调用 Workflow 的次数（左）与每个 Workflow 平均调度的子智能体数（右）。 结果显示出两种鲜明的风格： Claude 系「谋定后动」：调用少，规模大 。Claude Opus 5.5 和 Claude Sonnet 5.5 平均每题只调用 0.86 和 0.76 次 Workflow，但每次平均调度 5.55 和 6.14 个子智能体；9 个以上子智能体的大型编排，在 Sonnet 中占到 30%。 GPT 系「小步快跑」：调用勤，规模小 。GPT-6 Astra 和 GPT-6.1 Sol 平均每题调用 2.09 和 1.94 次，但每次只调度 1.72 和 1.69 个子智能体，约 99% 的工作流不超过 4 个。 这种风格差异还会随任务领域变化。 9 个模型在 8 大领域的委派频率（左）与委派规模（右），圆圈越大数值越高。 法律任务中，Claude Opus 5.5 每个工作流平均调度 14.29 个子智能体，GPT-6 Astra 只有 1.73 个；数学任务中，Kimi K3.1 Pro 每题调用 9.67 次 Workflow，每次却只调度 1.74 个子智能体。调用得勤，不等于协作的规模大。 换一个编排者，弱模型也能明显变强 系统得分高低主要由两部分决定：工作流设计和模型执行能力。那么， 编排本身到底值多少分？ 研究团队设计了一个巧妙的实验： 执行模型固定不变，只更换编写工作流的模型。 Claude Opus 5.5 和 GPT-6 Astra 担任编排者，Kimi K3.1 Pro、GPT-6 Luna、DeepSeek V4.1 Flash、Doubao-Seed-Evolving 担任执行者；编排者不能亲自修改任何文件，所有实际工作都由执行模型完成。实验分两种模式：编排者写完工作流就离场（静态），或者全程在线、根据反馈不断调整（动态）。 核心子集上的工作流迁移结果。Self 为执行模型自己编排；加粗与下划线分别为每行最高与次高分。 注：这里比较的是连续得分（部分完成也计分）。子集难度明显更高，Kimi K3.1 Pro 在全部任务上平均 62.73 分，在这里只有 35.75 分。 Opus 编排的工作流，让所有执行模型都变强了。 Kimi K3.1 Pro 从 35.75 分提升到 46.61 分，涨了近 11 分； DeepSeek V4.1 Flash 从 18.37 分提升到 25.24 分； 四个执行模型平均提升 6.41 分（静态）和 6.27 分（动态）。 由于 Claude Opus 5.5 全程没有碰过任何文件，这些提升来自它设计的工作流，以及它交给每个子智能体的指令。