代理人信心：用代理人的对数概率审计黑盒法学硕士代理人

arXiv:2610.03894v1 公告类型：新摘要：部署的 LLM 代理会发出可能默默错误的工具调用、查询和代码——当错误出现时，操作已经运行。 Frontier 聊天 API 隐藏了模型的 token 概率；代理人所声称的信心几乎无法战胜重大错误的可能性；并且重采样没有帮助，因为前沿模型具有高度重复性，会在样本之间复制相同的调用。我们从并行的低成本开放权重代理运行中恢复丢失的信号。它读取与代理相同的上下文、模式和建议的操作，然后通过一系列补充读数根据自己的对数概率对调用进行评分：教师强制和请求 PMI 权衡每个参数值的可能性，判别性判决对整个调用进行判断，工具选择竞争针对其兄弟姐妹测试该函数。一个原则决定了应该相信哪个：生成可能性定位错误的论点值，而判决则捕获整体错误的判断。当错误类型未知时，集成是低遗憾的默认值。读数无需培训，无需访问代理的内部结构，并且与工具调用一起需要一次预填充。在困难的编码任务中，它达到了 AUROC 0.825，其中参与者的置信度接近概率 (0.598)，并且另外三个参与者的生成读数比它高出 +0.07 到 +0.28。相对于自我一致性，它在接近确定性的参与者上获得 +0.14 到 +0.19，成本为 1/K。该信号驱动两种部署模式：实时门升级最不可信的审查请求（50% 覆盖率下的接受操作准确度为 +0.05 到 +0.30），以及置信度反馈，返回带有分数的工具结果，以便代理适应下一步 - 在实时执行基准上提升任务成功率（+0.119 和 +0.137，p <= 1e-4），并击败步骤错误无声的随机值控制（+0.078，p = 0.003）。