通过证据链评估进行校准选择性事实核查

arXiv:2607.18240v1 公告类型：新 摘要：大型语言模型 (LLM) 可以实现强大的事实检查准确性，但强制二元决策掩盖了一个关键的可靠性问题：即使支持证据薄弱、稀疏或内部不一致，系统也可能会发出自信的判决。我们通过证据链评估 (ECE) 来解决这个问题，这是一种选择性的事实核查框架，允许通过不确定的判决进行弃权，而不是要求对每项索赔做出正确/错误的决定。评估的系统是一个使用工具的验证代理，它通过网络搜索、学术搜索和可执行检查收集证据，然后返回具有置信度和源级元数据的结构化判决。在 ECE-Bench 上，ECE 在答复索赔方面实现了 91.6% 的标准准确度、93.7% 的覆盖率和 97.8% 的选择性准确度。尽管 ECE 在总体校准指标（例如预期校准误差、Brier 分数或 AURC）方面的表现并不优于最强的检索基线，但它提供了明确的选择性预测权衡：系统在回答索赔时保持非常高的准确性，同时推迟 95 个案例中的 6 个。这些推迟的案例集中在可靠性较低的证据环境中（源级别 L4 为 5/6），支持这样的观点，即弃权作为一种以安全为导向的机制来处理认知上较弱的证据。代码可在 https://github.com/cheshireyang/ECE.git 获取