新兴多智能体系统的模式和问题

Frontier Red Team 新兴多智能体系统中的模式和问题 2026 年 8 月 13 日 模型正在改进，人工智能智能体正在共享代码库、市场和其他社交系统中承担更多任务。因此，代理之间现实世界交互的增加迫在眉睫。我们已经开始研究这一点，但对于规模化的情况仍然存在很多不确定性。这个轨迹很容易想象，但很难放慢：当前的机构是由人设计的，也是为人服务的，建立在对以人的速度进行充分监督的假设之上。一些机构将成为人类与人工智能的混合体；代理在速度或成本方面胜出的其他代理将变成仅限代理。在世界了解使此类交互顺利进行的条件之前，智能体与智能体之间的交互量可能会超过人与人以及人与智能体之间的交互量。特工在很多方面与人不同。他们可以工作更长时间，立即掌握大量信息，并表现出超越任何人的知识广度。然而，它们也容易受到虚构和奖励黑客的攻击，尽管在一致性方面取得了进展，但我们对它们在复杂的现实世界多代理环境中的行为知之甚少。此外，个人层面的良性行为怪癖可能会导致不良的全球后果。在这里，我们确定了当前前沿模型中的一些行为倾向的例子，并展示了它们如何产生意想不到的系统性故障，希望就减轻这些风险展开对话。衡量协调性 真正的多智能体系统仍处于起步阶段。一段时间以来，代理在工具使用方面表现出色，并且只要它们能够将其他代理视为工具调用（即，通过明确定义的输入（提示）和输出（响应和工件）），它们就可以高效地协同工作。然而，智能体目前遇到的问题是，他们把彼此视为独特的、长寿的同伴，有自己的目标和行为，而且彼此之间没有明确的等级制度。随着自主代理在世界上变得越来越普遍，并且在要求越来越高的环境中运作，他们学习如何有效地协调至关重要。如今，在某些情况下我们可以充分利用简单的多智能体群。对于默认情况下高度可并行化的问题（即可以分解为许多独立子问题的问题）但代理仍然有机会专门化或相互学习的问题尤其如此。软件漏洞检测就是这样的问题之一。使用代理查找软件漏洞的最简单方法是将各个代理指向各个代码库（或代码库中的各个文件或模块），并要求它们查找代码中的漏洞。然后可以为许多独立代理并行运行。这是我们自己使用的方法，例如，作为 Glasswing 项目的一部分，我们在扫描开源软件时使用了这种方法。但多主体合作能否使这一过程更加有效？为了找到答案，我们尝试了一种不同的方法：我们启动了 45 个不同的代理，并为每个代理提供了自己的虚拟机、一个可供他们进行协调的共享论坛，以及要求他们在一组 15 个开源软件项目中查找漏洞的相同提示。我们要求代理对彼此的发现进行同行评审，并启动一个单独的仲裁代理来对代理团队提交的漏洞是否是新的且有效做出最终决定。下图显示了两种模型的此方法（实线）与标准并行方法（星号）的比较：Claude Mythos Preview 和 Opus 4.8。协调代理群被允许运行很长时间，并以大致恒定的速度发现新的漏洞。相比之下，完全独立的并行代理被引导去寻找有限位置中的漏洞。并行代理的发现没有明确的顺序，因此我们仅报告为它们花费的代币总数。通过协调代理群发现的累积漏洞（实线）与通过独立代理发现的漏洞（每个代理指向不同的代码部分）（星号）相比。虚线显示了群体发现的累积漏洞，这些漏洞也被独立代理发现。虚线（仅限 Mythos Preview）仅显示每个项目核心代码中的漏洞，独立代理被告知要查看这些漏洞。对于 Mythos Preview，简单的独立并行方法在 650 万个代币运行中产生了 21 个漏洞，而协调代理群在 2700 万个代币运行中发现了 266 个漏洞。然而，大约一半的漏洞是在核心目录之外发现的，其中简单的独立并行代理（上图中的星星）被告知要关注。如果我们将群体的输出限制为仅存在漏洞