临界深度平衡模型的响应重整化

arXiv:2608.23725v1 公告类型：新 摘要：深度均衡模型 (DEQ) 根据模型更新不变的隐藏表示计算预测。通过这种平衡的训练使用隐式微分，并且需要求解根据残差雅可比行列式构建的伴随系统。如果这个雅可比行列式沿损失敏感方向几乎是奇异的，则小扰动可能会在伴随响应中被强烈放大，产生大的、高度敏感的梯度，从而使优化变得不可靠。我们引入了响应重整化，这是一种后向传递框架，可以提升选定的近极点分母，同时保持未提升的响应通道不变。集体模式响应重整化 (CMR) 在低维临界子空间中应用此校正，而 Phi 自适应 CMR 根据正磁化率规则计算有界响应质量。我们推导出密集且无矩阵的集体公式，区分修改后的冻结锚残差与后向响应代理的精确梯度，并将构造扩展到结构化隐式层和矢量吸引子（SILVA）。在涵盖偏微分方程、三维场、算子映射、复杂几何和粒子系统的 23 个多物理场族中，CMR 和 Phi-CMR 产生的测试误差比经过精确隐式微分训练的模型的测试误差高出 5% 以上，其中超过 98% 的静态和 95% 的瞬态族种子比较。求解器索引实验显示向静态伴随的收敛，而物理时间推出在评估条件下保留了预测保真度。这些结果表明，选择性响应重整化可以控制近临界伴随放大，而不会全局抑制良好调节的灵敏度。因此，该方法可以使参数更新更加可靠，同时保留学习所需的有用梯度信息。