保证 LLM 代币生成的动态系统可区分性

arXiv:2607.28667v1 公告类型：新 摘要：最近的工作表明，可以通过将标记嵌入建模为黑盒动态系​​统 (DS) 的轨迹并比较两个 DS 的预测残差来区分大型语言模型 (LLM) 的响应。尽管这种动态方法在实证上取得了成功，但对其工作原理、其作为令牌序列函数的扩展程度以及何时跨嵌入模型进行传输的理论理解仍然缺乏。我们通过将分类任务形式化为两个随机线性 DS 之间的二元假设检验来解决这些问题。我们证明，即使动态差异很大，两个 DS 的固定边缘分布之间的总变异距离也可以任意小，这为任何忽略令牌动态的分类器提供了基本的准确度下限。然后我们表明，基于 DS 的分类的误分类概率在序列长度 $L$ 中呈指数衰减，衰减由捕获两个 DS 之间的光谱距离的动态辨别量 $\delta^2$ 控制。我们还通过在嵌入模型之间引入近似交织条件并根据交织图的最小奇异值建立可转移可辨别性的下界来表征交叉嵌入泛化。总之，这些结果解释了基于 DS 的分类的经验性能，并激励进一步研究使用 DS 理论来分析 AI 系统，这与使用 AI 来建模动态系统的更常见方法形成鲜明对比。