智能AI
morning
排名是否成立?对小型、量化、设备上法学硕士的幻觉探测器进行面向从业者的审计
2026-11-16
1 阅读
约2分钟阅读
Shubhra Mittal, Gaurav Naresh Mittal
字号:
arXiv:2611.17339v1 公告类型:新 摘要:大型语言模型的幻觉检测主要由在 7B-70B 研究模型上评估的方法主导,这些模型具有丰富的采样预算和精确匹配或 ROUGE 正确性标签。小型模型从业者实际上在设备上发布,Phi-3-mini、Llama-3.2-3B-Instruct、Qwen2.5-3B-Instruct 和 Gemma-2-2B-Instruct(通常为 4 位精度)位于此证据库之外。我们在单个 Colab 上以 4 位 NF4 量化加载的两个小型开放指令调整模型(Llama-3.2-3B-Instruct 和 Qwen2.5-3B-Instruct)上提出了跨越三种范式的四个检测器的可重复单 GPU 审核:长度归一化令牌边距校准、词法 n-gram 基线以及两种基于采样的一致性方法(语义熵和 SelfCheckGPT-NLI)。 T4 GPU,在闭卷 TriviaQA 上进行评估。跨模型排名迁移很差:Spearman rho 为 -0.80,Kendall tau-b 为 -0.667,这意味着检测器排名在两个模型之间主动反转,并且在 bootstrap 95% 置信区间下,廉价词汇基线与两个模型上基于采样的一致性检测器在统计上无法区分。作为第二个方法论贡献,我们表明,TruthfulQA-Generation 的标准令牌重叠到多项选择正确性标记器为两个模型上的所有四个检测器产生近乎机会的 AUROC (0.46-0.59),这是标记器故障,而不是检测器故障,因为相同的检测器在相同管道下的 TriviaQA 上达到 0.69-0.89 AUROC。我们发布了工具、提示和每个项目的分数,并将检测器选择明确地构建为部署在资源受限的设备上硬件上的从业者的错误率公平分配问题。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱