平滑变压器前馈网络的曲率密码分析

arXiv:2608.28843v1 公告类型：新 摘要：我们展示了平滑的两层前馈网络（FFN）在 FFN 分支的选定输入原始输出预言机下公开了一个额外的结构模型提取通道；考虑在选择输入原始输出访问下具有 GELU 或 SiLU 激活的变压器 FFN 分支，无需访问参数、梯度或内部激活；利用二阶泄漏通道，其中投影输入 Hessian 形成由 FFN 输入权重引起的相同隐藏对称一阶因子的不同混合。我们将所得的 Hessian 集合形式化为部分对称分解，以建立局部可识别性和稳定性的条件，以利用矢量输出模板重用，将结构查询成本降低 16 倍。在独立训练的 CIFAR-10 视觉变换器上，只有 16 个投影 Hessian 矩阵（对应于 8193 个黑盒查询）恢复隐藏的 FFN 方向，平均绝对余弦对齐高于 0.94，其中 95.1% GELU 和 91.9% 的 SiLU 方向超过 0.90 对齐。在独立训练的模型、重复提取运行和所有变压器块中，恢复率仍然很高。恢复的结构也支持功能提取。保持恢复方向固定并仅拟合剩余的 FFN 参数可产生具有超过 93% top-1 一致性的高保真替代品，而测试精度保持在 GELU 和 SiLU 目标的 0.90% 和 0.62% 之内。输出舍入和高斯噪声大大降低了固定攻击配置下的恢复，但采用有限差分步骤可将平均对齐恢复到 0.9603 和 0.9398。这是从黑盒二阶观测到隐藏 FFN 结构恢复和功能替换的端到端路径。在所述的预言机模型下，平滑的 FFN 曲率揭示了仅靠行为保真度无法揭示的内部参数几何形状。