NeurIPS 2026 | 从Token到Span：重新思考大语言模型的不确定性估计

在将 LLM 真正应用到产品的过程中，我们经常会遇到一个看似简单、却非常关键的问题： 模型生成的内容，究竟有多可信？ 在 Amazon 的实际产品研发过程中，我们发现，下游系统往往不仅希望获得 LLM 生成的结果，还希望能够得到与之对应的确定性或置信度信息，以便进一步优化后续决策。例如，对于一个基于 LLM 的信息处理系统，模型生成的内容可能被用于后续分类、推理、工具调用，甚至直接影响用户体验。此时，下游系统需要判断：应该直接采纳模型的输出，还是需要额外验证？是否有必要调用更强大的模型？又或者，当前的信息还不足以支持一个可靠的决策？ 这些问题都离不开 Uncertainty Estimation（不确定性估计） 。进一步思考，我们发现一个更有意思的问题。 当一段 LLM 生成的文本同时包含多个事实或语义单元时，我们真的能够用一个分数来衡量整段内容的可靠性吗？ 假设模型生成了十个事实声明，其中九个非常可靠，只有一个存在明显的不确定性。对于下游系统而言，仅仅知道整个回答的平均置信度，显然不足以支持精细化的决策。我们真正希望知道的是： 模型究竟对哪些内容有把握，又对哪些内容不确定？ 这一问题在未来的 Multi-Agent 系统中可能变得更加重要。当多个 AI Agent 相互协作时，一个 Agent 的输出可能成为另一个 Agent 的输入。如果 Agent 之间不仅能够交换自然语言信息，还能够传递每个具体 Claim 的不确定性，那么接收信息的 Agent 就有机会根据这些信号决定是否需要额外验证、进一步推理或调整执行策略。 换句话说，我们认为： Uncertainty 不应该只是用于评价模型表现的一个指标，它还应该成为能够被下游系统理解和利用的决策信号。 带着这样的思考，我们开始重新审视 LLM Uncertainty Estimation 中一个基础但容易被忽视的问题： 不确定性究竟应该在哪个颗粒度上进行衡量？ 在我们的 NeurIPS 2026 工作 SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation 中，我们尝试回答这个问题，并提出了一个新的研究任务： Span-Level Uncertainty Estimation（SLUE） 。我们希望，这项工作不仅能够提供一种有效的不确定性估计方法，也能够为未来更细颗粒度、更具可操作性的 LLM Uncertainty 研究提供一个新的起点。 论文地址： https://arxiv.org/abs/2607.05721 项目主页： https://damon-demon.github.io/SpanUQ.html 代码: https://github.com/damon-demon/SpanUQ 模型: https://huggingface.co/DamonDemon/SpanUQ 数据集: https://huggingface.co/datasets/DamonDemon/SpanUQ-Benchmark 会场时间: Thu, Dec 10, 2026 • 3:30–6:30 PM in Hall C1 • Atlanta Poster Session 4 01 ｜ 从 Token 到 Sequence：现有 Uncertainty Estimation 的颗粒度局限 目前，针对 LLM 的不确定性估计已经有大量研究，其中两种常见的颗粒度分别是 Token-Level 和 Sequence-Level。但在实际应用中，我们发现这两种颗粒度都存在一定的局限性。 1.1 ｜ Token-Level Uncertainty：足够细颗粒度，却缺乏完整语义 Token-Level 方法通常利用模型预测每个 token 时的概率分布，例如 entropy 或 token probability，来估计模型生成过程中的不确定性。这类方法具有较低的额外计算开销，也能够提供细颗粒度的信息。但问题在于： Token 并不天然对应一个具有完整意义的语义单元。 例如，当模型生成一个日期、数字或者实体名称时，它可能由多个 token 组成。单个 token 的不确定性并不一定能够直接反映整个事实声明的可靠性。 此外，语言生成中的概率不确定性也不完全等价于事实层面的不确定性。模型可能非常确定地生成一个错误事实，也可能因为存在多种合理表达方式而对正确内容表现出较高的 token entropy。因此，直接将 Token-Level Uncertainty 作为下游事实可靠性判断的依据，可能存在一定偏差。 1.2 ｜ Sequence-Level Uncertainty：具有整体视角，却难以定位问题 另一类研究尝试估计整个回答的不确定性。例如，通过多次采样、语义一致性比较或其他方法，为完整的生成序列计算一个 uncertainty score。这类方法能够从整体上衡量模型回答的可靠性，但也带来了另一个问题： 即使我们知道整个回答不可靠，也很难判断究竟是哪一部分存在问题。 考虑下面这个简单的例子： Marie Curie was a Polish physicist who won the Nobel Prize in 1901. 这段话包含多个事实信息： Marie Curie 是一位波兰物理学家。 她曾获得诺贝尔奖。 她在 1901 年获得诺贝尔奖。 其中，前两项事实是正确的，而最后一项包含错误的获奖年份。如果采用 Sequence-Level 方法，我们可能只能得到整个回答的一个不确定性分数。但对于下游系统而言，我们真正关心的是最后那个存在问题的具体事实，而不是否定整个回答。这使我们开始思考： 是否存在一种介于 Token 和 Sequence 之间的、更自然的不确定性估计颗粒度？ 02 ｜ Span-Level Uncertainty Estimation：让不确定性与语义对齐 我们的核心观察是： 人类理解、验证和使用信息时，通常并不是以 token 或整段文本为单位，而是以具有完整语义的内容片段为单位。 例如，对于一段包含多个事实声明的文本，我们可以分别判断每个事实是否可靠，而不必将整个回答视为一个不可分割的整体。基于这一观察，我们在论文中正式提出了一个新的研究任务： 2.1 ｜ Span-Level Uncertainty Estimation（SLUE） SLUE 的目标是： 在 LLM 生成的文本中，识别具有完整、可独立评估语义的文本片段（Semantic Spans），并为每个片段估计对应的不确定性。 与传统颗粒度相比，Span-Level Estimation 希望同时具备三个特点。 第一，Semantic Coherence：语义完整性。 每个 Span 应尽可能对应一个能够被独立理解和评估的语义单元，而不是任意的 token 组合。 第二，Fine-Grained Localization：细颗粒度定位。 当一个回答中只有部分信息存在不确定性时，我们希望能够精确定位这些内容，而不是仅对整个回答给出一个分数。 第三，Actionable