为什么静态技能不一致不等于运行时风险：LLM 代理执行的行为分析

摘要

arXiv:2610.18927v1 Announce Type: new Abstract: LLM agent frameworks heavily rely on external skill assets to standardize tool usage, encode operational workflows, and supply executable runtime resour...

and agent skill inconsistencies the executable runtime behavioral static auditing

2026-10-16 1 阅读约1分钟阅读 Fengrui Fan, Huahao Wang, Jingyi Fang, Yutao Hu, Yueming Wu, Deqing Zou

arXiv:2610.18927v1 公告类型：新摘要：LLM 代理框架严重依赖外部技能资产来标准化工具使用、编码操作工作流程并提供可执行运行时资源。尽管得到广泛采用，多组件技能包经常遭受跨工件不一致的问题，其中文档、脚本和配置文件指定了相互冲突的行为约束。尽管静态审计技术可以发现此类合同差异，但静态缺陷量无法可靠地反映现实世界中代理性能的下降。这一差距使得从业者没有严格的证据来评估代理人技能缺陷的实际风险。本文提出了一项系统的实证研究，以揭开技能不一致的运行时影响的神秘面纱。我们对 575 个社区和基准技能进行了大规模审核，发现了 1,182 个手动验证的合同不一致之处。我们进一步构建了一个受控评估管道，其中包含 49 个可执行代理任务和三个跨 NoSkill、OriginalSkill 和 FixSkill 实验设置的代表性 LLM。通过对 441 个配对执行轨迹进行细粒度的行为分析，我们量化了已解决的缺陷对实际性能的影响。

订阅66必读