智能AI
morning
图像自蒸馏的数据密度缩放定律
摘要
arXiv:2610.19013v1 Announce Type: new Abstract: Current scaling law formulations suggest that increasing the number of unique samples in a dataset improves model performance, while repeated exposure t...
and
the
samples
scaling
that
unique
performance
this
for
repetition
2026-10-15
1 阅读
约1分钟阅读
Alvard Barseghyan, Ani Vanyan, Hakob Tamazyan, Hrant Khachatrian
字号:
arXiv:2610.19013v1 公告类型：新 摘要：当前的缩放定律公式表明，增加数据集中唯一样本的数量可以提高模型性能，而重复暴露于相同样本会带来递减的价值。在这项工作中，我们检查了图像自蒸馏模型的这一假设。通过跨不同数据集（即 Maxar、SATLAS、Waymo、nuPlan、Ego4D、ImageNet 和 YFCC15M）的系统实验，我们证明样本重复对下游性能的影响是重要的且依赖于数据集。我们确定了对较小的随机子集进行重复训练的设置可以优于对较大的唯一样本集的训练。这一发现凸显了现有缩放定律的局限性。为了解决这一差距，我们提出了 Chinchilla 式缩放定律的修改版本，该定律明确考虑了两个因素：唯一样本的数量和每个样本的重复次数。该公式提供了一个用于理解数据计算权衡的框架，并改进了某些重复发挥核心作用的情况下的预测，尽管其好处在不同数据集之间并不一致。最后，我们研究子集选择和增强如何影响下游性能。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱