改进黑盒大型语言模型的置信度估计

摘要

arXiv:2608.19323v1 Announce Type: new Abstract: Uncertainty quantification (UQ) is essential for the safe deployment of large language models (LLMs). Existing methods, from verbalized confidence to on...

for the and scores deployment LLMs dataset this that these

2026-08-21 1 阅读约1分钟阅读 Sokhna Diarra Mbacke, Mouloud Belbahri, Gabriel Loaiza-Ganem

arXiv:2608.19323v1 公告类型：新摘要：不确定性量化（UQ）对于大型语言模型（LLM）的安全部署至关重要。现有的方法，从口头表达的置信度到需要多代的方法，通常都是零样本，并且无需标记数据即可产生量化不确定性的分数。尽管如此，实际上，在部署之前，人们必须始终评估其在感兴趣的数据集上的性能。在这项工作中，我们表明，通过利用该数据集，我们始终优于这些现有分数。具体来说，我们构建了简单的分类器，通过使用这些分数和类似查询的正确性作为特征来预测 LLM 响应的正确性。我们的方法产生最小的计算开销，使其成为 UQ 在 LLM 中针对实际应用的廉价且直接的增强。

订阅66必读