逻辑门网络的深度可扩展性

arXiv:2607.21633v1 公告类型：新 摘要：逻辑门网络（LGN）通过布尔运算的组合来实现计算，但与经典布尔电路不同，现有的 LGN 并不能可靠地从增加的深度中受益。我们确定了两个不同的原因：深度松弛 LGN 中的优化崩溃，以及拓扑引起的限制，即使在跳过偏置初始化和直通估计稳定训练时，该限制仍然存在。因此，仅可训练性是不够的。更深的层还必须接收支持有用计算的信息。我们引入输入锚定逻辑门网络（IALGN），其中每个门将不断发展的隐藏特征与直接输入锚结合起来。这种拓扑保留了计算脊柱，同时根据原始输入调节每一层。我们证明深度 D 路径可以依赖于最多 D+1 个输入位并建立严格的路径深度层次结构。随机 k 锚放松进一步改善了锚选择，而无需放松脊柱。在 MNIST、CIFAR-10 和 CIFAR-100 中，IALGN 实现了一致的固定宽度深度精度改进，超过 100 层，而替代 LGN 拓扑则饱和或降级。逐层探测、拓扑消融和有效深度分析表明，输入锚定可逐渐产生更多信息表示并保留更长的计算路径。这些结果表明，LGN 中的可扩展深度需要稳定的优化和支持输入条件细化的信息访问模式。