介入性基础审计：通过谓词替换对 LLM 思想链进行黑盒前提依赖性测试

arXiv:2607.13069v1 公告类型：新 摘要：大型语言模型产生的思想链 (CoT) 推理看似逻辑合理，但可能并不真正依赖于其规定的前提。我们引入介入性基础审计，即前提依赖性的黑盒、步骤级测试：我们通过用新符号替换其目标谓词来干预单个前提，重新运行模型，并检查每个推理步骤的规范化结论（规范谓词形式）是否发生变化。我们在 ProntoQA 上进行评估，这是一种带有黄金证明树的合成多跳演绎推理基准，其中步骤级前提依赖性是已知的。应用于 GPT-4o 的 50 个 ProntoQA 问题时，我们的方法在检测证明树依赖性方面实现了 F1 = 0.806（在谓词确定依赖性方面 F1 = 0.885；召回率 = 100%），显着优于自一致性基线（F1 = 0.343；95% 引导 CI 不重叠）。我们进一步发现，66％的正确解决的问题至少包含一个对一致替换下的直接证明树依赖性不敏感的对齐步骤——所有这些都涉及实体引入前提，一致替换评估器的记录盲点——被动方法看不到的“正确答案，错误推理”信号。所有审核证书、原始输出和复制脚本都可以在公共 GitHub 存储库中获得，并且我们讨论了超出正式、可解析基准的范围限制。