NL2SHACL-Bench：自然语言到 SHACL 翻译的基准套件

arXiv:2608.07530v1 发布类型：new 摘要：SHACL 是验证 RDF 知识图谱（KG）一致性的核心技术。然而，创作 SHACL 形状需要大多数领域专家所缺乏的技术专业知识。将自然语言要求转换为 SHACL (NL2SHACL) 将降低这一障碍。然而，NL2SHACL 没有专用的基准，并且评估生成的形状需要字符串比较之外的方法，因为语义上等效的形状在序列化和结构方面可能有所不同。为了应对这些挑战，我们推出了 NL2SHACL-Bench，这是一个用于自然语言到 SHACL 翻译的基准套件。使用 NL2SHACL-Bench，我们针对此任务评估了四种最先进的大型语言模型 (LLM)。我们的结果表明，当前的法学硕士非常有能力生成语法上有效的 SHACL，但仍然难以为复杂的逻辑和结构模式生成语义上等效的约束。这表明 NL2SHACL-Bench 为衡量 NL2SHACL 现有技术的进步提供了有意义的基础。