用于评估可解释人工智能方法的综合真实框架

arXiv:2609.30397v1 公告类型：新 摘要：由于缺乏可靠的评估程序，特别是缺乏地面事实解释，评估可解释的人工智能（XAI）方法是一项具有挑战性的任务。在文献中，现有的评估方法通常通过测量解释相对于黑盒模型预测的保真度来评估解释。然而，此类评估策略仅量化解释再现模型输出的程度，而不能确保解释正确反映潜在的决策过程。因此，不同的解释可能会获得相似的保真度分数，同时对模型行为提供不一致或误导性的解释。在本文中，我们提出了一个基于合成地面实况的 XAI 方法评估框架。所提出的方法依赖于受控干预来生成合成数据集，其中输入组件的重要性可以通过设计来确定。这使得能够构建与所分析模型的行为直接一致的基本事实解释。该框架跨三个数据域进行实例化，即二值图像、表格数据和时间序列，允许对异构环境中的解释方法进行全面评估。通过评估九种广泛使用的 XAI 方法获得的实验结果显示了当前技术的显着局限性，并强调了基于干预的综合基准对于可靠评估解释质量的重要性。