智能AI
morning
通过行和列尺度场观察变压器重量的细观视图
摘要
arXiv:2609.35852v1 Announce Type: new Abstract: Pooled statistics of Transformer weights obscure how magnitude is distributed across functional channels, while individual weights are too numerous to c...
and
the
scale
matrix
its
channel
magnitude
functional
column
fields
2026-10-01
1 阅读
约1分钟阅读
Tiexin Ding
字号:
arXiv:2609.35852v1 公告类型：新 摘要：Transformer 权重的汇总统计数据掩盖了跨功能通道的大小分布情况，而单个权重太多，无法直接比较。我们研究它们之间的介观级别：行和列尺度字段、权重矩阵在其通道上的中值中心对数 RMS 分布，它们与全局尺度和完全平衡核心一起准确地表示矩阵。在四种大小的公共 Pythia 检查点和来自三个初始化系列的受控运行中，平衡揭示了相似的测量核心幅度分布。混合桥的形式在分析之前固定并拟合系数，可以预测受控网格的保留运行和数据臂上的池形状偏离场宽度。索引字段保留了进一步的结构：它们跨共享功能通道的投影对齐，查询/密钥配置文件遵循重新分配的 RoPE 频率而不是固定的矩阵坐标。训练轨迹显示早期场形成，随后是依赖于组件的扩大或衰退。将基于通道的分析扩展到 AdamW 二阶矩，揭示了其对数空间行和列因子中的相关功能组织。最后，对冻结检查点的编辑将倒数比例平衡分开，从而保留了前向计算与相对通道增益的关系：平坦化增益会增加分布内损失，同时保留矩阵范数和平衡核心。因此，行和列尺度字段将汇集的幅度统计数据连接到通道组织，并为跟踪和测试训练的权重结构提供坐标。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱