智能AI
evening
当世界仍然存在错误时,清理特工的历史会很痛苦
2026-11-13
1 阅读
约2分钟阅读
Egor Pakhomov, Anurag Koul, Hongjun Liu, Bo Pang, Shafiq Joty, Erik Nijkamp
字号:
arXiv:2611.14654v1 公告类型:新摘要:使用工具的语言模型智能体会积累自己错误的历史,而压缩、修复或移交此类历史的系统会决定如何描述这些错误,同时它们的影响仍然存在。之前的工作清理了固定世界中的历史,其中显示正确的步骤并说它已经完成,一起移动。我们要问的是,同样正确的内容是有益还是有害,这取决于历史如何表述以及世界所持有的观点。我们将代理中间任务与其确切的世界状态冻结,编辑历史或世界,然后让接收器模型继续。在 AgentCE-Bench 上,在代理提交错误值后,我们保持世界固定,并通过两次自然编辑添加正确的值:保留的错误旁边的真实注释或代理自己完成的操作。该注释提高了恢复率,即接收者正确执行的剩余目标的比例,从匹配的中性注释下的 51% 提高到 66%。已完成的操作会将其降低到未编辑历史记录以下,从 50% 降至 44%,因此仅该值的存在并不能预测效果。在 AppWorld 上,数据库写入后,我们会改变其收据报告成功还是失败以及其效果是否存在。当效果不存在时,成功收据会将整个任务的成功率从 45% 降低到 28%,而一旦出现,则将整体任务成功率从 38% 提高到 49%。两名接球手的两种效应合计相差 27 分,八名接球手中的六名(97.5%)为正差异,七名(95%)为正差异。因此,历史编辑的效果取决于它所描述的世界,而在世界仍然存在错误的情况下,历史记录看起来很干净,这可能会让代理的处境比根本没有编辑更糟糕。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱