长记忆的成本：序列模型中的状态、上下文和稳定性复杂性

arXiv:2610.08816v1 公告类型：新 摘要：长程时间依赖性给序列模型带来了资源问题：对于指定的预测记忆定律，需要多少状态、上下文或动态临界性才能准确预测？我们在预测风险时直接研究这个问题。对于代数衰减的预测记忆，我们证明了指数模式和有限状态模式的近似上限和下限的匹配。最佳 $r$ 模式预测误差随着 $e^{-\Theta(\sqrt r)}$ 衰减，因此达到预测误差 $\tau$ 需要 $r=\Theta(\log^2(1/\tau))$ 状态或模式。早期的记忆诅咒结果确立了不同近似概念下稳定循环模型的广泛局限性；这里，双方都匹配预测风险中的一个规范预测目标，从而确定了该目标的最佳资源指数。然后我们证明真正的分数长记忆改变了几何本身。特别是，预测误差是在分数积分后测量的，从长度 $L$ 的有限上下文进行的预测具有精确的 $1/L$ 领先顺序，并且固定的分数强度 $d$ 保持平方对数状态复杂性定律。在短记忆边界附近，我们确定了相关的 $d^2$ 和 $d^4$ 尺度，并给出了中间状态下的统一构造律。对于具有均匀收缩状态动力学的非线性上下文递归，我们推导了指数第一混沌包络和将预测精度与收缩裕度联系起来的显式必要条件。代数目标上的预测误差消失迫使递归定量地趋于临界，这是一个必要条件，但其本身并不充分。有限样本 Kullback-Leibler 计算进一步将预测几何与统计信息联系起来。使用收缩状态空间、门控循环和注意力模型的定理匹配实验重现了状态和稳定性预测。