余弦相似性不是证据：测量量化下可解释性传递的本底噪声

arXiv:2609.30275v1 公告类型：新 摘要：报告的统计数据如果没有解释所需的数量，则不是证据。我们开发该论文是为了人工智能安全的具体实践。可解释性伪影在全精度权重上进行校准，部署在量化权重上，并通过尺度不变的统计数据（余弦相似性、相关性、AUROC）进行认证，这些统计数据在没有本底噪声的情况下报告。对于均值差方向估计器，半分层由一维数 $\kappa = n\rho^2/d$ 控制。闭合形式 $\mathbb{E}[\cos] \approx (1+4/\kappa)^{-1}$ 是经典的；缺少的输入是类分离$\rho$，我们在实际激活上测量它；据我们所知，没有压缩传递研究报告过这一点。在 Qwen2.5-1.5B-Instruct 上，$\rho = 33$--$61$ 跨深度，因此估计器的两次独立运行仅通过采样就同意 $0.978$--$0.994$。因此，如果没有计算的 $n$（未报告），则在全精度和量化拒绝方向之间公布的 $0.996$ 余弦不能被解读为保留。在 $n$ 已知的情况下，我们根据该量化模型中测量的分半零值来判断每个低位余弦，因为全精度零值假设低位估计器具有相同的方差。这个假设正是要测试 null 的存在。结果很简单：在 INT4 处，方向发生了旋转，并且赤字超过了估计器自身的噪声。在 INT8 处，我们没有检测到任何运动，这不是等价声明。我们还表明，尺度不变的统计量无法区分转移决策变量的平移和衰减，尽管两者需要相反的补救措施。我们以报告建议作为结束，这些建议需要花费一次前向传递。代码、数据和单细胞复制发布于 https://github.com/pvarshh/quantinterp