SAAG：结构化代理评估和基础

arXiv:2607.18245v1 公告类型：新摘要：代理调用的精确匹配评估掩盖了本质上不同的故障模式：模型可能会选择正确的函数但会产生幻觉参数值，或者在出于错误原因选择代理时满足模式。现有的基准将这些区别分解为单个二进制分数，使从业人员无法诊断代理呼叫失败的位置。我们提出 SAAG 一个级联诊断框架，它将代理调用评估分解为三个连续阶段：注册表一致性、结构完整性和论证基础，每个阶段都会产生可解释的特定阶段的诊断。这些诊断还可以实现迭代式自我修复：在预测失败时，特定阶段的信号会指导有针对性的校正，而不会泄漏真实值。我们在受控基准上评估该框架，该基准源自 Glaive 的函数调用数据集，使用三个本地子 4B 参数模型，注册大小为 5、10 和 15 个代理。相对于单遍推理和无信息的二进制反馈，结构化反馈始终如一地提高论证精度并减少价值幻觉，而端到端 F1 增益适中且依赖于模型。这些结果表明，阶段分解的诊断评估是理解和提高跨模型系列和注册规模的代理呼叫可靠性的必要镜头。