InferenceBench：AI 代理开放式 LLM 推理优化的基准

arXiv:2607.20468v1 公告类型：新 摘要：人工智能代理越来越多地用于自动化研究和开发任务，但现有基准通常在规定的工作流程或狭窄的行动空间上对其进行评估。即使名义上的开放式任务通常也可以通过检索众所周知的配方并调整一些超参数来解决，这使得我们不清楚强大的结果是否反映了真正的优化或记忆的解决方案。我们引入了 InferenceBench，其中代理必须部署兼容 OpenAI 的推理服务器并优化 LLM 推理的速度。每个代理都会收到一个目标 LLM、一个 H100 GPU、一个优化场景以及两个小时的挂钟时间预算。三种优化方案隔离了不同的推理瓶颈（预填充延迟、解码延迟和并发请求吞吐量），第四种优化方案同时平衡这三个瓶颈。在 15 个前沿代理配置中，代理可靠地改进了朴素的 PyTorch 基线（高达 8.08 美元\次$），并且通常匹配或超过具有默认设置的服务引擎（vLLM 为 4.05 美元\次$），但在相同时间预算下仍然低于简单的超参数搜索（高达 11.53 美元\次$）。对智能体轨迹的定性分析表明，尽管智能体列举了许多相关的优化技术，但它们绝大多数都集中在一个推理框架上。他们仅测试一些不同的配置，并将剩余的预算用于重新测量、修复或优化超参数，而不是探索本质上不同的策略。这表明瓶颈不是领域知识，而是提出不同配置、系统评估它们并提交最佳识别解决方案的能力。总体而言，InferenceBench 反映了智能体在开放式人工智能工程环境中运行的能力，在这种环境中，记忆的解决方案导致的改进有限。