Grokking 发生的地方：分布式实用程序和无需模块切换的傅立叶重新编码

摘要

arXiv:2609.17571v1 Announce Type: new Abstract: Where in a Transformer is the change from memorization to generalization functionally expressed? We introduce Transition Games--behavior-aligned exact a...

the and exact games with distributed block attention MLP than

2026-09-17 1 阅读约1分钟阅读 Dekun Yang

arXiv:2609.17571v1 公告类型：new 摘要：Transformer 中从记忆到泛化的变化在功能上体现在哪里？我们引入了过渡游戏（Transition Games）——行为一致的精确激活游戏，具有配对的非泛化控制——并发现具有预期区块 0 注意力偏差的分布式效用增益；选定的二级模式在替换游戏中占其附加对比度的 67--92%，并且一项不相交的精确路径研究证实，在 12/12 对中，块 1 MLP 比所有其他测试的下游路径更能调节其效果。更清晰的“MLP 记忆，注意力泛化”预测相反（记忆锚点处为 -0.331 位/示例；预测方向为 0/12），而路由开始、全局秩崩溃和素数不变架构脊也失败，将此处的 grokking 识别为现有分布式电路的频谱记录，而不是模块开关。

订阅66必读