检测法学硕士的幻觉：追踪上下文共享受损的拓扑特征

arXiv:2609.21096v1 公告类型：新 摘要：在这项工作中，我们检查了注意力图中信息流模式的拓扑，以有效区分幻觉和非幻觉反应。我们分析福尔曼-里奇曲率来识别表明注意力图中信息瓶颈的结构模式。然后，我们介绍一种捕获与幻觉反应相关的注意力头的半局部和全局信息流特征的方法。我们在多个法学硕士和既定基准中广泛评估我们的方法。实证结果表明，我们提出的单遍方法在两个幻觉检测基准中对现有的基于注意力和多响应基线提供了一致的改进，同时在不同的法学硕士架构中实现了具有竞争力的性能。进一步的分析表明，因果生成过程中令牌之间的上下文共享受损与法学硕士的幻觉发生密切相关。特别是，幻觉响应的一贯特征是过度依赖自我注意力、从早期令牌中检索分散的上下文或信息过度压缩，尤其是在最终的转换器层中。