用于异构边缘设备上快速 LLM 筛选的可转移延迟预测

arXiv:2607.21602v1 公告类型：新 摘要：准确的延迟预测对于在异构边缘设备上部署大型语言模型 (LLM) 至关重要，其中推理延迟受到模型架构、提示行为、运行时后端、硬件利用率、动态电压和频率缩放 (DVFS) 以及热变化的影响。本文提出了一种用于面向部署的 LLM 选择的运行时感知延迟预测框架。该框架将每个推理请求表示为硬件运行时模型提示配置，将推理分为预填充和解码阶段，并通过门控预测模型自适应地将静态描述符与动态硬件遥测融合。我们使用 Pixel 移动设备评估该框架，并在 Jetson Nano、Orange Pi 5 Pro 和 RTX 3090 级 GPU 平台上验证分析管道。在 Pixel 8 上，与纯静态基线相比，完整预测器将总延迟 R 平方从 0.953 提高到 0.960，并将解码延迟 R 平方从 0.957 提高到 0.973。在 Pixel 8 Pro 上，它将预填充延迟 R 平方从 -1.383 提高到 0.966。对于跨设备传输，校准将 Pixel 8 Pro 到 Pixel 8 的总延迟 R 平方从 -0.974 提高到 0.940，并将解码延迟 R 平方从 -1.085 提高到 0.927。异构分析进一步表明，延迟高度依赖于设备和运行时：相同的 SmolLM2 模型系列在 Orange Pi 5 Pro 上达到 8.42 个令牌/秒，但在 RTX 3090 级 GPU 上达到 64.38 个令牌/秒。这些结果表明，具有轻量级校准的运行时感知预测可以降低​​分析成本，并支持跨异构边缘平台的延迟感知 LLM 部署。