实现支持 LLM 的代理工作流程的可靠设计：优化延迟-可靠性-成本权衡

arXiv:2605.23929v1 公告类型：新 摘要：现代人工智能系统越来越依赖由多个交互代理组成的工作流程，其中一些由大型语言模型 (LLM) 提供支持，另一些则由传统计算模块提供支持。本文分析了支持 LLM 的代理工作流程中延迟、可靠性和成本之间的基本权衡。我们引入了 LLM 和非 LLM 代理的性能模型，捕获计算量和输出质量之间的关系，并使用参数指数可靠性函数纳入 LLM 代理的推理和输出标记的影响。然后，我们研究延迟和成本约束下的顺序工作流程的设计。主要结果包括注水代币分配政策和影子价格方面的最佳工作流程可靠性特征。