智能AI morning

Orchestra-o1:全模式代理编排

2026-06-15 1 阅读 Fan Zhang, Vireo Zhang, Shengju Qian, Haoxuan Li, Hao Wu, Jinyang Wu, Donghao Zhou, Zhihong Zhu, Zheng Lian, Xin Wang, Pheng-Ann Heng
arXiv:2606.13707v1 公告类型:新 摘要:代理群最近的成功已经将基于大型语言模型 (LLM) 的代理范式从单代理工作流程转变为多代理系统,凸显了代理编排对于任务分解和协作的重要性。然而,现有的编排框架仅限于一组狭窄的模式,并且很难推广到异构模式共存和交互的更复杂的环境。这种限制在全模态场景中变得尤为明显,其中任务需要对文本、图像、音频和视频等不同输入进行统一理解和协调。在这项工作中,我们提出了 Orchestra-o1,这是一种全模式代理编排框架,旨在支持跨多种模式的高效代理协作。 Orchestra-o1引入了统一的编排机制,可以实现模态感知的任务分解、在线子代理专业化和并行子任务执行。这种可扩展的设计使代理系统能够有效地处理涉及异构信息源的复杂现实任务,在 OmniGAIA 基准上比第二好的方法高出 10.3% 的准确度。此外,我们引入了决策协调组相对策略优化(DA-GRPO),这是一种用于训练 Orchestra-o1-8B 的高效代理强化学习方法,它还针对所有现有的开源全模式代理实现了最先进的性能。