CAFIN：通过 GPU 原生内核融合实现 CUDA 加速的自适应 Fisher 信息矩阵网络优化

arXiv:2611.14589v1 公告类型：新 摘要：二阶优化器利用曲率信息改进深度神经网络训练，但其实际效率受到 GPU 执行开销的限制。 AdaFisher 通过对角 Kronecker 结构和指数移动平均线降低了 Fisher 信息矩阵 (FIM) 近似成本，但其 PyTorch 实现需要顺序 CUDA 内核启动、中间张量分配和重复内存访问。我们介绍 CAFIN，一个 GPU 原生的 CUDA 内核融合框架，可以在不改变其优化公式的情况下提高 AdaFisher 的执行效率。所提出的方法逐步将 FIM 预处理器构造、指数移动平均更新、梯度预处理、动量累积、权重衰减和参数更新集成到融合的 CUDA 内核中。共享内存重用、寄存器驻留计算和就地操作进一步减少了内存流量和中间分配。在 NVIDIA GTX 1660 Ti 和 RTX 3060 笔记本电脑 GPU 上的 CIFAR-10、CIFAR-100 和 Tiny ImageNet 上使用 ResNet-18 进行的实验表明，独立 FIM 构建延迟降低了 78.4%，优化器步骤延迟降低了 2.1-26.9%。该实现还消除了每个优化器步骤约 18.91 MB 的中间 GPU 内存分配。数值验证确认了预定义 FP32 容差内的一致性，而收敛精度在评估的数据集和随机种子之间保持可比性。这些发现表明，CUDA 内核融合可以显着加速二阶优化，同时保留 AdaFisher 的基础数学公式和学习行为。