NL2SHACL-Bench：自然语言到 SHACL 翻译的基准套件

摘要

arXiv:2608.07530v1 Announce Type: new Abstract: SHACL is a core technology for validating the conformance of RDF knowledge graphs (KGs). Yet, authoring SHACL shapes requires technical expertise that m...

for NL2SHACL SHACL the shapes that language and Bench requires

2026-08-11 1 阅读约1分钟阅读 Yuchen Zhou, Niels Bobet, Maribel Acosta

arXiv:2608.07530v1 发布类型：new 摘要：SHACL 是验证 RDF 知识图谱（KG）一致性的核心技术。然而，创作 SHACL 形状需要大多数领域专家所缺乏的技术专业知识。将自然语言要求转换为 SHACL (NL2SHACL) 将降低这一障碍。然而，NL2SHACL 没有专用的基准，并且评估生成的形状需要字符串比较之外的方法，因为语义上等效的形状在序列化和结构方面可能有所不同。为了应对这些挑战，我们推出了 NL2SHACL-Bench，这是一个用于自然语言到 SHACL 翻译的基准套件。使用 NL2SHACL-Bench，我们针对此任务评估了四种最先进的大型语言模型 (LLM)。我们的结果表明，当前的法学硕士非常有能力生成语法上有效的 SHACL，但仍然难以为复杂的逻辑和结构模式生成语义上等效的约束。这表明 NL2SHACL-Bench 为衡量 NL2SHACL 现有技术的进步提供了有意义的基础。

订阅66必读