预填充训练，解码时监控：使用稀疏自动编码器进行主题监控

arXiv:2611.12935v1 公告类型：新 摘要：主题监控是在生成过程中标记模型响应中每个标记的主题的任务。迄今为止，在生成时运行的基于激活的监视器已经过训练来检测有害内容，并且仅限于两到三个类别。我们引入了 TopicScope，一个用于在 SAE 特征上训练因果主题分类器的框架，该分类器为每个标记分配一个主题，以便标签可以在响应中途改变。我们在涵盖七个主题的合成多主题对话上训练了三个检测器架构。在 Gemma-3 1B 和 4B 中，根据从预填充隐藏状态提取的特征进行训练的监视器能够推广到解码。我们还发现分类器对扰动具有鲁棒性，当插入离题旁白、删除主题或重新排序部分时，最多会丢失 5 个宏观 F1 点。为了解 SAE 的贡献而进行的消融显示，在没有 SAE 的情况下达到基线性能的分类器要大几倍。我们的研究结果表明，紧凑的主题监视器可以在预填充中进行廉价的培训并在生成过程中进行部署。更广泛地说，我们的工作展示了 SAE 在安全分类之外的用途。我们的代码、数据集和检查点可在 https://github.com/Mercity-AI/SAE-Guardrails 和 https://huggingface.co/collections/Mercity/online-guardrails-using-sparse-autoencoders-6ac602940468c62fefb2b9e8 获取