静默自由度重播：无需离线阶段的持续学习

arXiv:2609.31630v1 公告类型：新摘要：基于重放的持续学习几乎总是在专用的离线阶段或通过将重放的样本与输入流交错来进行巩固，而大脑也在清醒期间通过局部睡眠、单个电路的短暂依赖于使用的关闭期来进行巩固。我们询问受本地生物约束规则训练的网络是否可以在完全没有离线阶段的情况下进行整合。隔离规则将重播更新限制为在 k-winner-take-all 动态下对当前输入不可见的隐藏突触，优化器状态仅在掩码内先进；难控制的轮换规则使得刚刚发射的单位无法参加下一场比赛，从而扩大了可整合的范围；稳态压力和相对新颖的门决定重播何时爆发以及轮换何时运行。这反转了无干扰持续学习的通常方向：当前输入的隐藏计算保持不变（完全在经过验证的通道上，并且对于其他地方每次更新的唤醒样本除外，除了 0.3% 之外），而过去的记忆被写入当前批次未使用的自由度中。在类增量分割-MNIST 上，系统达到 91.6+-0.3%，没有离线阶段，等于或高于两个举行的分割的最佳离线夜间时间表，与 DER++ 及以上经验重播、ER-ACE、A-GEM 和未屏蔽的本地重播并列；在一次通过中，它领先于 DER++（91.8% 对 90.1%），而夜间则下降到 76.9%。优点在小缓冲区时最大，而在大缓冲区时让位于反向传播参考；在拆分 CIFAR-10 上，系统领先离线排练和体验重播，但落后于 ER-ACE 和 DER++。旋转带来了大部分增益；隔离增加了不变性保证。该机制不受本地规则的约束：在相同的调度下，具有 k-WTA 隐藏层的反向传播网络从旋转中获益，并且在其之上再次释放了隔离。