LLM 何时进行推理？通过熵相变的动态系统视图

arXiv:2605.22873v1 公告类型：新 摘要：思想链（CoT）推理已成为增强 LLM 能力的默认策略，但其应用提出了一个基本问题：显式推理何时真正有益？经验证据揭示了一个惊人的悖论：CoT 通常会为事实性和开放式任务提供边际甚至负收益，同时增加代币消耗。在这项工作中，我们表明 LLM 推理不是任务或模型的静态属性，而是在生成过程中出现的\emph{动态解码状态}。通过系统分析，我们发现早期熵动力学提供了这种状态的可靠信号：受益于 CoT 的任务表现出一致的熵减少，而其他任务则表现出不稳定或增加的模式。这种行为可以解释为从高熵探索状态到低熵结构化推理状态的类似相变的转变。基于这些见解，我们提出了 \textbf{EDRM} （基于熵动力学的推理流形），这是一种轻量级且免训练的路由框架，利用早期解码熵来自适应地选择推理策略。 EDRM 将熵轨迹嵌入到紧凑且可解释的流形表示中，从而实现零样本部署和细粒度实例级适应。在 15 个不同规模和架构的基准测试和 4 个法学硕士中，EDRM 始终优于静态基准。在数据集级别，EDRM 实现了 \textbf{41--55\%} 标记减少，同时用少至 50 个校准样本提高了准确性。在实例级别，它进一步将准确性提高了高达 \textbf{4.7\%}，同时保持了 \textbf{27--45\%} 令牌节省。这些结果表明，应该有选择地而不是默认地调用推理，并证明了熵驱动解码控制对于高效和自适应 LLM 推理的有效性。