虚幻特工

如果您对人工智能代理的前沿成本效率感兴趣，我们很乐意合作！联系我们：contact@unreallabs.ai。在野外部署代理时，我们希望它们能够快速响应用户并且运行成本效益高。我们注意到代理花费了大量的时间和令牌来管理工具调用，这促使我们使用可以减少模型工具管理开销的工具来构建虚幻代理。 Unreal Agent 工具以完全异步的方式管理工具调用，从而使底层模型不再需要管理工具的等待、轮询和检测信号。这种方法有两个主要好处。首先，它始终允许用户引导代理，而无需等待工具调用完成。其次，它允许代理在模型调用之间安排更有用的工具调用工作，从而提高前沿成本效率。在我们在此分享的实际工作负载和代理基准测试中，当前版本与 Codex 相比可节省高达 40% 的成本，与 Pi 相比可节省高达 20% 的成本。我们相信线束设计本身就是一个研究领域，许多有前途的想法仍有待研究和实施。 1 如果您尝试构建代理优先的产品，您很快就会意识到实施该产品没有黄金途径。大品牌供应商提供不同的 SDK 来构建代理，每个 SDK 都有一组不同的权衡，这些权衡可能不会立即显现出来。在虚幻实验室，我们构建了许多代理产品，并在此过程中了解了一些有关流行 SDK 的知识。例如，面向 CLI 的 SDK（例如 Claude 的 Agent SDK）带有有关本地会话、子进程和资源限制的假设，而这些假设并不能很好地转化为生产使用。可靠地处理完成、取消和后台任务通常意味着围绕它们构建您自己的生命周期管理。支持其他提供商会增加兼容性工作：切换 API 模式可能会破坏工具或压缩，而 SDK 升级可能会更改消息格式并强制集成重写。严重的依赖树给我们已经需要理解和修补的运行时增加了维护和供应链风险。根据我们的经验，依赖于线束挂钩和专用工具的安全性和审批往往需要更多的维护，并且比线束之外的确定性环境或沙箱约束更不稳健：允许/禁止的主机、细粒度的访问令牌、具有审批门的代理。除了这些技术动机之外，我们还希望构建一个能够始终无延迟地接受用户引导消息并处理异构工具调用的工具，而不会给模型带来额外的认知负担。例如，我们希望代理能够启动可能需要几分钟的开发环境设置，同时探索代码库并并行搜索网络，所有这些都无需额外的代币税。每次虚幻代理发出工具调用时，我们都会立即附加该工具在“进行中”状态返回的事件日志记录，同时继续在后台执行。一旦工具实际完成，我们会将结果附加到会话日志中并调用 LLM。在不破坏缓存的情况下完成这项工作本身就是一个有趣的工程挑战。 2 观看动画。从表面上看，虚幻代理以更少的模型轮数和更少的输入令牌实现了相同的结果。我们将成本节省归因于两个因素：最小的线束占用空间和工具输出使用的精心设计。 Unreal Agent 具有简单的提示、令牌优化的工具结果，并且没有子代理或工作流程。 3 每个模型转动更多的刀具工作量。 Unreal Agent 有一个简单的异步工具调用模型，可以向法学硕士清楚地解释。这使得它可以在每个模型轮次中发出更多的重型工具调用，而不会在轮询或等待上浪费令牌。我们构建了 Unreal Agent 来为我们提供真实的制作工作流程，但它在基准测试中看起来也不错。我们使用 GPT-6 Astra xhigh 对其进行了测试，并与 Codex 和 Pi 进行了比较。以下是一些结果。通过率存在边际差异，我们将其归因于基准方差。 GPT-6 阿斯特拉·xhigh。 Codex (lb) 是排行榜基线； Unreal Agent 和 Pi 运行的链接如下。代理费率总计 $ 入/试用 出/试用转向工具 Harbor unreal-agent 57.9% 1428 1.73M 32k 28 37 27133053 Codex (排行榜) 57.9% 2350 — — — — — Pi 55.0% 1827 2.83M 35k 44 57 6ccd097a 代理费率总计 $试用/试用 试用/试用转工具 Harbor unreal-agent 65.8% 936 898k 15k 16 27 3d2fa057 Codex 63.3% 1303 1.69M 17k 22 21 11a440fb Pi 64.0% 1033 1.29M 16k 24 60 da4ac972 代理费率总计 $ 入/试用 出/试用 转向工具 Harbor unreal-agent 72.4% 1367 1.60M 28k 26 38 2311ca63 Codex 69.0% 1633 2.19M 30k 30 29 e20ecafd Pi 69.6% 1584 2.21M 30k 40 75 cd7d8de6 满分率和平均分如下。这些跑步不在港口。代理 完全通过 平均分 总计 $ 输入/任务 输出/任务轮数 工具 unreal-agent 30.0% 59.7 217 0.76M 18k 18 23 Codex 29.0% 58.1 292 1.59M