从数学理论「解」出语言模型——AGI理论核心原语的首次工程验证：BriLLM-MetaPred

当语言模型开始「从数学里长出来」：BriLLM-MetaPred 让 AGI 理论推导出的第一个核心原语首次落地 语言模型的设计范式，是否只能靠人类不断「堆模块、调结构」？当整个行业在 Transformer 的延长线上进行着越来越昂贵的增量改进时，上海交通大学赵海教授团队给出了一个反直觉的答案：先从数学上严格定义 AGI，再让机器学习模型从那个定义里「长」出来。 他们刚刚上传到 arXiv 的 BriLLM-MetaPred，正是这一路径的首次工程兑现。它不是又一个「更好的语言模型」，而是 AGI 数学理论（A Mathematical Theory of AGI）推导出的机器学习原语 MetaPred 在语言建模任务上的第一个可运行实例。 论文：BriLLM-MetaPred: A Representation-Prediction Unity Language Model with Adaptive Self-Measurement arXiv： https://arxiv.org/abs/2610.34018 团队：上海交通大学 通用人工智能研究所（赵海教授团队） 两条独立证据线的汇合： 数学推导与大脑原理的同构 如果只看「从 AGI 定义推导出 MetaPred」这一条线，读者有理由追问：它会不会只是一个自洽的形式系统？AGI 数学理论恰恰在此给出了一个容易被忽略、却极为关键的补充： 这条数学路线与神经科学中主流的预测编码/自由能原理，在抽象层面高度同构。 理论论文的最后一章专门讨论了这一问题。AGI 数学理论中的「自然平衡原理」—— 一个仅涉及能量（系统成本）与熵（系统信息增益）的比率泛函 ——同样把 MetaPred 推导为最优解。这意味着，MetaPred 不仅是从「无限的自我认知的极限」这一定义中解出的，也是从「任何自组织系统必须在能量成本与信息收益之间取得最优平衡」这一更接近物理与生物约束的原理中解出的。一个数学原语同时满足「认知的极限」与「自然的经济性」，它就不太可能只是一个纯粹的工程巧合。 BriLLM-MetaPred 的 Related Work 也明确将 Friston 的自由能原理和 Bastos 等人的预测编码微回路工作列为理论参照。这不是装饰性引用。预测编码的核心命题是：大脑通过最小化预测误差来维持内部模型与世界的对齐；而 MetaPred 的核心机制—— 单一动力学状态同时承载表示与预测，并通过持续的自我测量在不动点处维持内部一致性 ——在抽象层面正是预测编码的数学重述：表示不是外部附加的，预测也不是从表示中「读出」的，二者是同一个动力学过程的两个侧面；自监督信号不是外加的代理任务，而是状态趋向自身不动点的内在约束。 这构成一种间接的跨学科论证，而不是循环论证。神经科学没有「证明」MetaPred 是对的，数学理论也没有「预测」大脑必须采用 MetaPred。但当一个从纯数学定义推导出的原语，与一个从实验神经科学归纳出的统一原理，在同一个抽象结构上相遇时，这条理论路线的可信度就不再仅仅依赖「它自己说自己必要且充分」，而获得了一个来自独立学科的外部锚点。换言之，BriLLM-MetaPred 背后的理论并非一个彻底的待检验形式系统；它已经在「智能的核心计算应该长什么样」这一层面，与大脑机制的原则性描述形成了收敛。 起点： 一个自治且严格的 AGI 数学定义 绝大多数 AGI 路线，要么从生物大脑中寻找灵感，要么在外部拼装工程模块。BriLLM-MetaPred 所依据的 AGI 数学理论（A Mathematical Theory of AGI）走了一条完全不同的路：不预设任何特定的网络拓扑或认知模块，而是从「通用认知」本身出发，给出一个自治的数学定义，然后求解。 该理论将 AGI 定义为「无限的自我认知的极限」。从这个定义出发，理论将其转化为一个严格的数学变分问题。在同构意义下，该变分问题的唯一解，就是被命名为 MetaPred（元预测）的机器学习原语。 换句话说，MetaPred 不是被人为设计出来的，而是被数学推导出来的。理论进一步论证，MetaPred 对于通用认知而言是必要且充分的（necessary and sufficient）。论文对此的表述毫不含糊：「MetaPred 是第一个完全从数学理论推导而来，而非通过人工设计和增量改进拼装而成的机器学习范式——也许会是最后一个这样的范式。」 MetaPred 的核心： 一个状态，同时是表示与预测 那么，这个从数学最优解中「长」出来的原语，长什么样？ MetaPred 的定义性特征极为简洁，却与当代主流架构截然不同：模型形成的「表示」和它产出的「预测」，是同一个持续演化的动力学状态的两个方面。 传统语言模型把表示和预测拆成两套结构：编码器或隐藏层负责形成表示，输出头负责从表示中读出预测。MetaPred 取消了这种拆分。它维护单一、持续演化的动力学状态：上下文信息被写入这个状态，状态本身随时间演化，而下一个词元的预测，直接从同一个状态中读取。 由此衍生出另一个关键机制：持续的自我测量（continuous self-measurement）。模型不断测量自身的动力学状态，这一过程带来三重效果：降低有限深度导致的不一致性、维持内部一致性，并以不动点（fixed-point）形式提供内生的动力学自监督信号。 这一点值得停下来审视。当前主流自监督依赖外部构造的代理任务——掩码预测、对比学习、下一词元预测——信号来源在模型动力学之外。MetaPred 的自监督信号来自状态对自身的测量，其训练目标在形式上等价于要求内部表征在迭代中趋于自我一致的稳定点。这是一种「内生」而非「外加」的监督信号。 由于训练和推理共用同一个动力学状态，MetaPred 在几乎所有机器学习关键要素上都呈现出对称性——论文将其描述为「数学最优解在范式空间中的一种直观且可观测的性质」。 BriLLM-MetaPred： 把原语装进可运行的载体 理论给出了原语，但原语需要载体才能在真实的硬件上运行。 BriLLM-MetaPred 的工程路径，清晰地连接了两个先验贡献：AGI 理论提供了 MetaPred 原语的构造与动机；BriLLM 提供的 SiFu 节点-信号流范式，则提供了原语得以在现有软件与硬件加速器上执行的载体。 论文明确划定了自己的边界：BriLLM-MetaPred 不是另一个循环语言模型，也不是 BriLLM 的简单扩展。它是一座桥梁——把理论推导出的原语，与工程上可运行的载体连接起来。 在实现层面，它是一个节点-状态语言模型：词元投影向量被写入固定的接口行，一个循环算子通过动力学演化更新整个张量，下一词元的分布从指定的输出行和有限辅助池中读出。同一个持续演化的张量，同时承载了输入条件化的表示，和用于读出的状态。 关键的实证结果是：BriLLM-MetaPred 的预测性能，与同等规模的 GPT 基线相当（约 13.2M 参数）。 对于一条从零推导的新范式而言，这个结果的意义不在于「超过 GPT」，而在于证明：这个从数学中推导出的原语，在语言建模这一核心认知任务上是工程可行的。论文将其定位为「MetaPred 框架工程