反向传播替代方案：增强拉格朗日预测编码

增强拉格朗日预测编码训练 1000 层网络，无需反向传播 我们引入 PC-ALM，这是反向传播的本地替代方案。 PC-ALM 训练残差 MLP 高达 1000 层，尽管仅使用层局部动态，但几乎与反向传播的性能相匹配。 PC-ALM 为每一层配备了反馈控制动力系统，该系统在整个网络中分配和传播监督信用。标准深度学习依赖于反向传播。然而，大脑无法实现反向传播，至少不能完全实现 [1, 2] 。大脑如何在不明确使用反向传播的情况下解决多层信用分配问题仍然是神经科学中未解决的基本问题之一（尽管并非没有进展 [3,4,5]）。大脑无法实现精确的反向传播有多种原因。一是“锁相”[6, 2]。反向传播按严格顺序分三个阶段运行：1) 前向传播，然后 2) 后向传播，然后 3) 权重更新。权重更新被锁定，直到前向和后向传递完成为止 - 早期层中的神经元必须保持其激活状态并等待误差信号到达。大脑没有已知的机制可以在整个网络中执行如此严格的时间协调[1]。在这篇文章中，我们介绍 PC-ALM（增强拉格朗日预测编码），这是一种训练网络的方法，用层局部动态系统取代反向传播的前向和后向传递。每层仅与其相邻层耦合。我们不是先向前后向后，而是及时向前运行每一层。当运行到收敛时，整个系统的动态将监管信用信号快速准确地分布在整个网络上。 PC-ALM 是标准预测编码 (PC) 的扩展 [7,8,9,10]。 PC 在层之间使用扩散（即基于能量或“热流”）耦合。与PC相比，PC-ALM每层引入双神经元（拉格朗日乘子），使每层的局部递归成为PI反馈控制器。在线性网络的限制情况下，尽管仅使用本地计算，双神经元仍会收敛到精确的反向传播信用信号。我们在一系列实验中将 PC-ALM 与 PC 和反向传播进行比较。 PC 等本地培训方法历来难以规模化。遵循 PC 文献，我们使用简单的任务（Fashion-MNIST、CIFAR-10 等）和残差 MLP 等网络。我们证明 PC-ALM 可以成功地在 1000 层神经网络中传播监督信用，克服标准 PC 的信号衰减问题 [11]，同时保持层局部性。我们专注于深度、小宽度网络，在这种情况下，PC 往往表现不佳。最终，我们的动机是了解分布式系统（例如大脑）如何在没有反向传播的情况下实现梯度计算。撇开科学动机不谈，这项研究可能会为神经形态硬件上的节能深度学习提供信息，其中动态系统模拟比 GPU 更便宜 [12]。预测编码：每一层都是一个动态系统 在解释 PC-ALM 之前，让我们首先解释一下 PC，从动态系统的角度解释它，以强调它作为反向传播替代方案的作用。预测编码 预测编码源于亥姆霍兹的无意识知觉理论 [13]。 Rao & Ballard (1999) 开发了 PC 的数学框架作为视觉皮层的模型 [14]。 PC 的想法是，每一层都尝试对其输入信号进行建模，仅向上发送预测误差（该层无法建模的部分）到下一层。从数学上来说，预测编码利用一个通用的主题：获取一个状态并更新它以减少下一步的预测误差，状态 t + 1 = 状态 t − η (状态 t − 目标 t ) ⏟ 预测误差 通过将此更新规则应用于每一层的激活向量（“状态”是该层的激活 hi ；其“目标”是来自下一层的预测 σ ( W i hi − 1 ) ） 1 ，PC 框架有效地回避了反向传播对同步前向和后向传递的需求。为了更详细地解释这一点，让我们将前馈网络写成一个约束优化问题：最小化 θ , h 1 2 ‖ y − W L h L − 1 ‖ 2 ，且满足 hi = σ ( W i hi − 1 ) , i = 1 , … , L − 1 。其中 L 是网络深度， h 0 := x 输入， y 目标， θ = { W i }权重，h 是层激活，σ 是激活函数，例如 ReLU。请注意，每个 h i 都是优化变量 2 。然后，我们构建一个新的损失函数，其中包括原始监督损失，以及违反每层约束的二次惩罚：F PC ( h , θ ) = 1 2 ‖ y − W L h L − 1 ‖ 2 + 1 2 Σ i = 1 L − 1 ‖ hi − σ ( W i hi − 1 ) ‖ 2 。这是约束问题的二次松弛。 F PC 被称为网络的“自由能源” [15, 9] 。为了训练神经网络，PC 在推理和学习步骤之间交替： t = 的预测编码推理