大型语言模型中的分层分级

arXiv:2607.22757v1 公告类型：新 摘要：我们引入分级大型语言模型（GLLM），这是一种代数框架，它为变压器的表示空间配备分级，并通过嵌入、自注意力和训练目标传播诱导加权标量动作。该结构将分级神经网络和分级变压器的理论扩展到自回归语言模型，同时保留表达能力、渐近计算复杂性和推理成本。主导的几何图是几何不变量理论。放坡的好处通过放坡环面上的 Kempf-Ness 函数来表达；改进统一架构的等级形成一个开放的凸锥体，其成员资格由希尔伯特-芒福德型标准决定，该标准将等级方向与目标和数据的两个可测量轮廓配对；最佳等级是两个矩图的重合点，以封闭形式给出；普通变压器表现为锥体边界上的半稳定各向同性点：较大分级家族的成员之一，而不是杰出的最佳值。另外，对于水平分层目标，我们证明了分级先验与其不存在之间的极小最大分离：在所有估计器中，分级和统一目标类别的风险在样本大小的显式窗口中通过几何分层下的水平数量呈指数衰减的因子进行分离。两个配置文件都可以离线估计，因此最佳成绩解决了在训练开始之前经过认证的凸程序。由于训练后分级会被吸收到学习参数中，因此每个 GLLM 都会编译为具有相同架构和推理复杂度的标准转换器。