用于深度强化学习的冻结随机 CNN 特征提取器中的紧急稀疏性

arXiv:2607.26059v1 公告类型：新 摘要：我们报告了一个惊人的现象：使用冻结、随机初始化的 CNN 特征提取器训练的深度强化学习代理自发地开发出极其稀疏的全连接表示，而没有任何稀疏性诱导目标。在第一个全连接层（FC1，$3{,}136 \to 64$）中，对于确定性 Pong，代理通过 64 个神经元中的 1-3 个神经元压缩任务相关信息（对于随机 Pong，为 5-11 个神经元），而可训练的 CNN 在匹配条件下激活 55-64 个神经元。我们得出了四项主要发现。首先，FC1 稀疏性随任务复杂性而变化：Pong 为 1-11，Breakout 为 19-26，Space Invaders 为 $\sim$42。宽度缩放证实这反映了任务结构而不是固定的容量分数。其次，出现了游戏内缩放：三个相同的 Pong 种子产生 5、7 和 11 个活跃神经元。 5 神经元种子稳定在 $+14$ 奖励，而其他神经元达到专家性能（$+18.4$、$+18.7$），这表明随机投影的可用维度限制了可实现的性能。第三，消融证实了必要性：移除这些活跃神经元会降低两个 PPO 实现和四个游戏的性能。第四，信息瓶颈提前提交：扫描显示活动集锁定了 15-30M 步，而奖励在 35-105M 步后变为正值。 Breakout 中的一项补充发现表明，冻结和可训练的 CNN 通过结构上不同的瓶颈获得竞争性奖励：冻结代理使用 17-25 个活跃神经元（参与比例 $\sim$10-14），而可训练代理使用 51 个（参与比例 $\sim$3.6）。最后，只要输入维度使内在任务维度相形见绌，冻结随机投影上的梯度下降就可以在没有显式稀疏机制的情况下揭示潜在问题的有效等级。