点火指数：测量语言模型中的全球工作空间动态

arXiv:2608.05160v1 公告类型：新 摘要：我们引入了点火指数 (I)，这是一种经过验证的标量度量，可在 Transformer 语言模型中实现全局工作空间理论 (GWT) 的全或无点火预测。该指标将四参数 sigmoid 拟合到每层线性探针精度，作为输入信号强度的函数，提取陡度参数 beta-hat：高值表示突然的、类似点火的转变；低值表示分级堆积。在跨越 5 个架构系列的 11 个模型中，打乱标签控件显示出对真实语言结构的选择性是虚假探针能力的 9.6 倍（p < 0.001，Mann-Whitney U 检验）。我们发现：(1) 前馈变压器在总计 beta-hat 方面超过 SSM 89%（p < 1e-13，Cohen's d = 0.52），Mamba 表现出与缺少全局广播一致的近线性配置文件。 (2) Huginn-3.5B 沿其迭代轴的点火比其深度轴高 2.12 倍，这表明循环架构沿循环维度表现出类似工作空间的过渡。 (3) Pythia-410M 显示在诱导头形成之前的训练步骤 256 (+67%) 处 PELT 检测到的相变。 (4) 将点火与模型规模和信号强度联系起来的假设尚未得到证实，这表明变压器架构可能会使可用的点火机制饱和。 Ignition Index 在 GWT 的动态预测和机械解释性之间提供了第一个经过验证的定量桥梁，具有 9.6 倍的测量选择性和体系结构级别的辨别力，这是以前在缩放文献中未描述过的。代码：https://github.com/saman-rahbar/ignition-index