BayesBench：评估多轮证据积累下的 LLM 信念轨迹

arXiv:2606.30850v1 公告类型：新 摘要：大型语言模型 (LLM) 通常部署在多轮对话中，其中每个轮次都提供新的证据，应减少对其环境的认知不确定性。理性行动需要推断控制它的未观察到的数量，并随着证据的积累更新关于它们的信念。然而，大多数评估仅以单轮格式对模型的最终轮答案进行评分，而未检查此过程。我们询问法学硕士的信念更新与多轮设置中理性贝叶斯推理机的信念更新有多接近，并引入 BayesBench，这是一套模拟环境，可在三个逐渐复杂的任务中对此进行探索：（i）贝叶斯估计，其中模型从顺序证据中推断出未知参数； (ii) 贝叶斯预测，该模型将关于潜在变量的推断信念转化为结果预测； (iii) 潜在框架贝叶斯预测，其中观察结果通过用户角色框架进行过滤，需要对潜在状态和角色进行联合推理。在七个法学硕士 (3B--70B) 中，缩放可改善潜在推理和证据积累，更新偶尔会与贝叶斯后验相匹配。然而，这些收益并不能可靠地延续到下游预测，暴露了推断潜在结构和使用它来合理更新关于目标结果的信念之间的差距。