基于移除的方法来提高 LLM 在测试时的忠诚度

arXiv:2609.04343v1 公告类型：新 摘要：大型语言模型 (LLM) 越来越多地用于后续决策，使其解释成为审核模型行为的重要工具。不幸的是，这些解释可能不忠实，无法反映模型决策背后的实际推理。我们考虑这样一种设置，其中法学硕士针对问题提供答案和解释。我们确定了不忠实解释的两个不同维度：不完整性，意味着解释忽略了影响答案的因素；不健全，意味着解释引用了不影响模型答案的因素。提高 LLM 忠实度的现有方法包括训练时方法（需要访问模型权重和大量计算资源）和测试时方法（主要侧重于解决不合理性）。我们引入了一种直接针对不完整性的测试时方法。我们从输入中删除模型解释中未提及的概念，并根据减少的输入重新查询模型。这消除了未提及的影响，同时保留了所提及概念的影响。在两个数据集、多个模型系列和两个独立的忠诚度指标中，与标准提示和鼓励忠诚度的提示相比，我们的方法提高了解释的忠诚度。我们的方法与模型无关，可以在推理时应用而无需修改模型参数，为减少隐藏影响并提高LLM辅助决策的可靠性和安全性提供了灵活的机制。