AgentStop：提前终止本地 AI 代理以节省消费设备的能源

arXiv:2605.15206v1 公告类型：新 摘要：由大型语言模型 (LLM) 提供支持的自主代理越来越多地用于自动化复杂的多步骤任务，例如编码或基于网络的问答。虽然基于云的远程代理提供可扩展性和易于部署的特点，但它们会引起隐私问题、依赖网络连接并产生经常性 API 成本。在用户设备上本地部署代理可以通过保护数据隐私和消除基于使用的费用来缓解这些问题。然而，代理工作流程比典型的法学硕士交互更加消耗资源。迭代推理、工具使用和失败重试会大大增加令牌消耗，通常会消耗大量计算资源而无法成功完成任务。在这项工作中，我们研究了消费类硬件上本地部署的基于 LLM 的代理的时间、令牌和能源开销。我们的测量结果表明，与单推理工作负载相比，代理执行会增加 GPU 功耗、温度和电池消耗。为了解决这种低效率问题，我们引入了 AgentStop，这是一种轻量级效率监控器，可以预测并抢先终止不太可能成功的轨迹。利用低成本执行信号（例如令牌级日志概率），AgentStop 可以将能源浪费减少 15-20%，同时对任务性能的影响最小（<5% 效用下降），以应对基于 Web 的问答和编码基准测试。这些发现将预测性提前终止定位为一种实用机制，可在用户设备上启用可持续的、保护隐私的 LLM 代理。我们的项目代码和数据可在 https://github.com/brave-experiments/AgentStop 获取。