智能AI morning

通过相变出现:复杂系统的机制景观和普遍趋同

2026-06-09 1 阅读 Truong Xuan Khanh
arXiv:2606.07563v1 公告类型:新 摘要:在机器学习、生物学和物理学中,独立进化的系统通常会趋向于惊人相似的高级结构,尽管微观细节截然不同。 Grokking 回路在随机种子上收敛,进化谱系重新发现相似的代谢解决方案,并且重整化流接近共同的固定点。我们提出分层涌现框架(HEF)作为此类融合现象的候选普遍性框架。 HEF 将出现建模为受热力学和信息论定律约束的机制景观中的相变。该框架引入了一个临界能量阈值 Ec,将具有竞争机制的探索机制与由独特的最小成本机制控制的收敛机制分开。在结构假设下,我们证明了物理可行性,导出了严格的度量收缩,并建立了向独立于初始条件的唯一定点表示的收敛。我们通过有效信息和机制竞争熵进一步将这种收敛结构与因果出现联系起来。为了测试该框架,我们在 111 个实验中研究了模块化算术变换器的延迟泛化(“grokking”)。我们确定了 Ec 转变的可重复经验指纹:在 92% 的运行中,权重范数在 grokking 之前系统地达到峰值。归一化精度曲线崩溃到与 Landau-Ginzburg 普适性类别一致的 tanh 扭结 (R^2=0.93),并且所有 grokked 模型都收敛到 0.9745+/-0.014,无论初始化、权重衰减或训练分数如何 (ANOVA p>0.13)。 HEF 并不是作为普遍的涌现理论提出的,而是作为研究复杂系统收敛现象的可证伪的数学支架。