表示作为机械可解释性的瓶颈：表现单元协议

arXiv:2607.00089v1 公告类型：新 摘要：机制可解释性已经产生了丰富的组件级分析清单，这些分析描述了神经网络组件编码的内容以及它们如何交互。然而，它们的输出不容易重用：选择性表、电路图和功能列表仍然锁定在每个研究笔记本中 - 不可组合，不可用自然语言查询，并且不可直接用于下游审计或干预。我们研究了位于这些分析和下游使用之间的表示层，作为可以独立评估的瓶颈，并引入了表现单元，这是一种类型化元组协议（E、S、R、D、G），使用变压器架构的注意力头原语（T）进行了扩展，将每个组件的统计数据组织到自动填充的结构化字段中，并通过混合检索进行查询。该协议通过生成视觉 (beta-VAE)、判别视觉 (CNN) 和语言 (GPT-2) 进行实例化，支持两个发现：类型化结构在检索方面大大优于非结构化基线，并且通过该模式检索的 CNN 过滤器满足匹配预算控制下的因果充分性和必要性标准。该模式无需修改即可吸收注意力头基元，在检索预算匹配的控制下设置恢复已知的 IOI 电路成员，并揭示不可约的两场核心 (S+R)，其余场要么是冗余的，要么是主动干扰的。我们将其作为机械可解释性的模式基础设施，而不是前沿规模的验证。