多成本和失败风险下的Web Agent代理强化学习决策模型

arXiv:2610.23857v1 公告类型：新 摘要：现实 Web 环境中的智能代理交互通常受到请求预算、时间延迟、反爬行限制和操作失败风险的限制。仅仅优化任务成功率的策略常常会出现不可用的现象，例如“高成功但高成本”或“低风险但保守的失败”。本文提出了一种用于 Web 代理的约束代理强化学习模型，将页面访问、搜索请求和外部 API 调用统一到具有相关成本的统一长期决策框架中。它同时将成本预算约束和尾部风险控制纳入优化目标：构建由累积请求数、总延迟和失败惩罚组成的多维成本向量，通过拉格朗日双更新实现预算合规，同时采用CVaR风险项抑制对高失败概率路径的过度探索，从而实现“完成率、成本和风险”之间的自适应平衡。实验在 30-70 个网站/页面模板和 800-1,500 个端到端 Web 任务中进行，包括信息提取、价格比较、表单提交和跨页面导航。交互序列跨越 20-120 个步骤，工具等级为 30-200。性能以无约束的强化学习、预算受限的强化学习和基于规则/脚本化的网络代理为基准，量化任务完成率、每次成功成本、失败率和策略稳定性。结果表明，在相同的完成率下，我们的方法在高失败惩罚下将 C-PS 降低了 22%-31%，并将失败率降低了 18%-26%。在固定预算下，任务完成率提高了10%-16%，凸显了约束建模对于实际Web代理部署的必要性和有效性。