代理人工智能系统的不确定性感知资源编排

arXiv:2611.05392v1 公告类型：新摘要：由大型语言模型 (LLM) 提供支持的代理人工智能 (AI) 系统作为自主多步骤管道执行，动态调用工具、将观察结果集成到内存中并迭代，直到任务得到解决或资源预算耗尽。与具有固定图的经典工作流程不同，此类管道的聚合计算、带宽和端到端延迟需求在调度时是未知的：它们在运行时从中间观察和随机令牌采样中出现，产生重尾、多模态随机变量。这种不可预测性迫使基础设施协调者陷入两难境地：配置不足会导致执行过程中的限制和违反最后期限的风险，而过度配置则会浪费稀缺的边缘或云容量。现有的调度程序需要完全已知的管道图，而边缘资源管理方法依赖于参数或固定需求模型，并且都不适合代理管道的未知、非平稳概况。我们将这种设置形式化为不确定性感知代理编排问题，其目标是在调度时保留满足实际管道需求的计算和带宽分配，并验证管道是否能够满足其最后期限，每个都具有规定的概率。然后，我们提出了保形预留编排（CRO），这是一种在线算法，可通过保形预测将过去执行跟踪的滑动窗口转换为具有有限样本、无分布覆盖保证的调度时资源分配。对具有多模态和重尾特征的异构任务混合的模拟表明，CRO 是唯一一种同时满足所有风险级别的目标概率覆盖的评估方法，同时在覆盖可行的方法中，实现了最低的过度保留，将切比雪夫约束基线的资源浪费大致减少了一半。