智能AI
morning
量子模型可以像法学硕士那样扩展吗？
摘要
arXiv:2609.20912v1 Announce Type: new Abstract: In this work, we study the neural scaling laws of RydbergGPT, an autoregressive transformer model trained on qubit projective measurement data gathered ...
the
point
that
critical
scaling
from
two
neural
transformer
model
2026-09-21
1 阅读
约1分钟阅读
David S. Berman, Ying-Jer Kao, Roger G. Melko, Alexander G. Stapleton
字号:
arXiv:2609.20912v1 公告类型：新 摘要：在这项工作中，我们研究了 RydbergGPT 的神经标度定律，这是一种自回归变压器模型，根据从相互作用的 Rydberg 原子阵列收集的量子位投影测量数据进行训练。众所周知，随着激光失谐参数的变化，量子系统会表现出有限尺寸的临界点残余。我们发现，在临界点附近，变压器损耗作为训练数据集大小的函数可以通过带有损耗底限校正的幂律很好地描述。然而，远离临界点，幂律描述的质量会大大降低。然后，我们使用熵归一化、有限样本校正互信息“两点”函数来比较里德伯测量和自然语言语料库的统计结构。我们发现两点函数的近临界统计数据最接近自然语言中观察到的统计数据，而远离临界点的其他量子位配置具有衰减更快的两点函数。这支持了这样的假设：多尺度依赖性有助于稳定的神经缩放，并且缩放行为应被视为模型数据对的属性。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱