代理技能下游效用的实证研究

arXiv:2610.08875v1 公告类型：新 摘要：Agent Skills 封装了程序指导和资源以供重用，但相关 Skill 并不一定能提高任务性能。现有的研究描述了技能内容的特征并评估了下游绩效，但对效用如何依赖于内容、执行配置和多技能组织提供了有限的解释。我们对 87 个 SkillsBench 任务进行了实证研究，将下游效用定义为在相同模型（线束配置）下执行相同任务与无技能的通过率差异。我们比较九种配置中的相同技能，然后检查三种选定配置下的替代已发布技能和固定技能集的组织。我们从包含 37,596 项技能的精选语料库中检索市场候选人。法学硕士协助分析内容、执行轨迹和最终工件，然后进行作者审查，将提供的支持与实际使用和任务结果联系起来。在 36.78% 的任务中，相同的技能有助于某些配置，但会损害其他配置，轨迹显示推荐的过程可能会成为执行负担。相关性排名忽略了更有用的候选人。在评估的候选集中，通过对所需操作的支持进行重新排名可将三种配置的首选通过率提高 4.35--5.80 个百分点。我们推导出 17 种创作实践，将可执行过程与恢复、任务要求的保存以及最终工件的检查联系起来。阶段计划和依赖 DAG 的表现优于单独使用顺序，DAG 的额外优势集中在提供五到六项技能的任务上。这些发现指导开发人员评估可用的操作支持，在保留任务要求的同时允许程序适应，并在组织技能时使工件依赖关系明确。