智能AI
morning
稀疏自动编码器中的数据回报递减：功能行为不能保证特征再现性
摘要
arXiv:2610.20680v1 Announce Type: new Abstract: Sparse autoencoders (SAEs) are typically trained on hundreds of millions to billions of activation tokens, yet little work has tested whether this scale...
the
data
and
are
one
activation
tokens
training
SAE
budgets
2026-10-16
1 阅读
约1分钟阅读
Sambit Ghosh, Madelyn Mathai, R. Venkatesh Babu, Chirag Agarwal
字号:
arXiv:2610.20680v1 公告类型：新 摘要：稀疏自动编码器（SAE）通常在数亿到数十亿个激活令牌上进行训练，但很少有工作测试这种规模是否有必要。我们通过在三种语言模型上训练四种 SAE 架构来研究 SAE 需要多少激活数据，预算范围从 5M 令牌到 500M 令牌参考。我们衡量收敛的两个概念：标准评估的功能行为和学习特征的一对一再现性。功能数据要求强烈依赖于度量：重建通常以更小的预算接近完整数据参考，而特征再现性随着数据的不断提高。对于 Gemma-2-2B BatchTopK，严格匹配特征的比例从 5M 令牌时的 2% 上升到 50M 时的 29%。数据选择也很重要：随机采样可以更好地保留原始激活分布，并且通常有利于重建，而基于多样性的采样通常会改进 AutoInterp。理论分析将二次采样训练的统计一致性与一对一特征恢复所需的更强的可识别性和优化条件分开。我们的结果表明，当预算与目标相匹配时，SAE 培训通常可以提高数据效率，并且特征级声明得到明确的可重复性检查的支持，从而为更便宜、更可靠的 SAE 研究铺平道路。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱