智能AI
morning
精确询问,明智假设:大型语言模型中歧义消解的交互式评估
2026-11-17
1 阅读
约1分钟阅读
Avik Dutta, Aayush Kumar, Zahra Ashktorab, Hosein Hasanbeig, Austin Z. Henley, Gustavo Soares
字号:
arXiv:2611.18905v1 公告类型:新 摘要:模糊性是人类与人工智能交互的核心挑战,模型必须决定何时做出假设以及何时寻求澄清。现有的模糊性评估方法主要侧重于使用静态指标覆盖多种解释,对模型如何有效地通过交互收敛到单个用户预期的解释提供了有限的见解。我们引入了一种基于偏好的模拟用户框架,用于对歧义消解进行受控的多轮评估,将模拟器响应严格按照用户消歧偏好进行接地,以避免幻觉和过度披露。除此之外,我们定义了三种可观察到的不满意信号——不正确的假设、重复的澄清和不相关的澄清——它们表征了任务准确性之外的交互质量。我们的分析揭示了一个明显的权衡:经常寻求澄清的模型往往会过度澄清并延长交互,而假设驱动的模型更容易与用户意图不一致。我们证明,针对这些不满意信号进行优化的系统提示在所有三个指标上实现了帕累托最优平衡,将总体错误率降低了 7.65%,强调了我们的框架在设计精确询问和明智假设的代理方面的价值。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱