三思而后行：LLM 代理的行动前验证

arXiv:2609.11957v1 公告类型：新摘要：LLM 代理通过发出操作来对世界起作用：要运行的 shell 命令、要应用的编辑。错误的行动并不总是会彻底失败；它可能会悄无声息地失败，产生看似合理但不正确的效果，但不会引发任何错误。我们认为，在行动生效之前运行的廉价确定性检查是一种有效且未充分利用的代理监督形式，并且我们在一个框架中跨两种行动模式对其进行研究。这个想法是在任何执行器运行之前通过构造来修复操作的正确效果，以便直接测量静默失败，并且验证者可以放弃而不是猜测。对于 shell 命令，超过 9930 个命令和 482 个工具的静态验证器以 10.0% 的误报率捕获 95.8% 的无效命令。它的语法和二进制检查是准确的，误报率为零，同时捕获一半的错误；标志检查仅受帮助文本覆盖范围的限制，并解释每个误报。对于代码编辑，对 224 个文件进行 640 次编辑的基准测试隔离了应用步骤，这暴露了明显的分裂。内容锚定格式（例如搜索/替换和 diff）会彻底失败，而位置锚定格式则会悄无声息地失败：在一行转换下，行号会损坏 99.1% 的文件，而函数名称编辑则有 12.7% 的概率会命中错误的函数。在这两种设置中，“不确定时拒绝”策略将无声故障转变为可恢复故障，但适用性成本可调：选择性接地在 7.0% 误报率下达到 0.958 召回率，锚定和验证应用程序在 8320 次试验中记录了一次无声误用 (0.01%)。我们发布了基准测试、验证程序和防护程序。