将潜在 CoT 推理解释为动态系统

arXiv:2607.09698v1 公告类型：新 摘要：最近的潜在推理方法，例如 CODI 和 COCONUT，面临着一个基本的可解释性问题：它们在每一步的隐藏空间中维护多个叠加的候选轨迹，这与显式 CoT 不同，显式 CoT 遵循单个透明推理轨迹。现有的机械方法显示了压缩、捷径和叠加，但没有解释推理如何跨潜在步骤演变。为了解决这一差距，我们将潜在标记序列建模为表示空间中的轨迹，并应用动态系统分析来表征推理的演化。使用定量测量（例如逐步变化、方向一致性和 Lyapunov 灵敏度）以及定性预测（例如 UMAP 和 DMD/PHATE），我们表明潜在 CoT 表现出结构化、非随机动态，具有两个不同的稳定性类别。 CODI 表现为稳定的吸引子，而 COCONUT 表现为不稳定的扩展系统，SIM-CoT 监督在不改变潜在动态的情况下收紧了这两种行为。该框架提高了潜在 CoT 推理动态的可解释性，并为提高潜在推理性能提供了可行的见解。代码 1 和项目页面 2 可在线获取。