超越主干反向传播：高效迁移学习的解耦策略

arXiv:2607.13043v1 公告类型：新 摘要：深度学习模型实现了最先进的图像分类，但由于计算成本和能源需求而面临部署挑战。我们提出了一种轻量级训练策略，使模型的归一化层适应新领域，并将特征提取与分类器优化解耦，通过仅预计算一次特征来减少开销。重新设计的分类器头具有基于边际的加权损失，进一步最大限度地减少了模糊性，而无需端到端反向传播。通过对四种 CNN 架构（ResNet18、ResNet50、MobileNet、DenseNet121）、三种 Transformer 模型（ViT、Swin 和 DeiT）和三种医学数据集（脑癌 MRI、BreakHis 和 PatchCamelyon）进行评估，我们的方法显着减少了所需的训练时间，仅在精度上进行了边际权衡，通常匹配或超过基线性能。这种效率意味着二氧化碳排放量减少了几个数量级，为资源有限的临床或原型环境提供了实用且环境可持续的解决方案。