智能AI
morning
响应相关信息不足以实现神经训练状态等价
摘要
arXiv:2611.23245v1 Announce Type: new Abstract: Response-relevant information is not sufficient evidence that two neural networks are in the same training state. We define training-state equivalence o...
and
the
response
not
training
weight
geometry
relevant
information
that
2026-11-19
1 阅读
约1分钟阅读
Truong Xuan Khanh
字号:
arXiv:2611.23245v1 公告类型:新 摘要:响应相关信息不足以证明两个神经网络处于相同的训练状态。我们在操作上定义训练状态等效性:如果两个检查点在训练受到干扰并继续时响应相似,则相对于干预系列和视野而言,它们是等效的。在学习模块化加法的一层变压器的新运行中,相对于检查点之间的差异(500 步时 rho_state = 0.934),对权重衰减脉冲的响应具有高度可重复性,从而建立了可测量的目标。权重谱、表示几何和优化器几何的 15 个描述符携带超出权重规范和开发数据集损失的运行内响应相关信息,预测种子块之间的保留响应偏差。但它们在通过未来反应匹配检查点方面明显的 16.1% 优势并不能与条件安慰剂分开,条件安慰剂保留每个描述符对传统可观察量的拟合依赖性,并且校准的阳性对照使得简单的不敏感性成为不太可能的解释。解码器可以提取的信息不需要按照相似性判断所需的成对几何结构进行组织。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱