智能AI
morning
块稀疏特征器的深入分析
摘要
arXiv:2608.27515v1 Announce Type: new Abstract: The recently introduced block-sparse featurizer (BSF; Fel et al., 2026) is similar to a sparse autoencoder (SAE), but its atomic unit is a small subspac...
the
block
BSF
and
sparse
SAE
that
feature
splitting
arXiv
2026-08-31
1 阅读
约1分钟阅读
Alexandru-Iulius Jerpelea, Amith Ananthram
字号:
arXiv:2608.27515v1 公告类型：new 摘要：最近引入的块稀疏特征器（BSF；Fel et al., 2026）类似于稀疏自动编码器（SAE），但其原子单元是一个小子空间（方向块）而不是单个方向。它是为低维流形上的特征而设计的，这些特征在视觉中尤其常见。这项工作研究了 BSF 的优点和缺点，发现它仍然受到经典 SAE 故障模式（例如特征分割和组合）的影响。我们提出了对 BSF 的几项架构更改，包括显着减少特征分割的锦标赛 Top-K 选择规则，并且我们还将块范式扩展到交叉编码器。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱