HybridInfer：用于设备上、边缘和云端 LLM 推理的热感知强化学习层路由

arXiv:2609.30270v1 公告类型：新 摘要：使用小语言模型的设备端推理可将用户数据保留在本地，离线工作，并且不会产生每次查询成本，因此在足够的情况下，设备端层是首选。然而，它受到热限制，而且我发现这种限制比减速更严重：在旗舰 Snapdragon 设备上，持续的设备上生成会破坏 GPU 推理运行时的稳定性，在几次连续查询后会崩溃或无声地楔入。失败在于当前的工具链（OpenCL 内核编译和移动 GPU 上的长提示预填充），即使设备很酷也会重复出现，并且对于长代来说最糟糕。跨设备、边缘和云模型的多层路由器可以缓解这种压力，但现有路由器是热盲的，通常在模拟或非移动硬件上进行评估。我展示了 HybridInfer，这是一种用于三层层次结构（设备上的 Llama 3.2 3B、带检索的边缘 Llama 3.1 8B、云 GPT-4o）的热感知强化学习路由器，它使用手机的热余量和查询复杂性估计作为状态，并通过离线训练的 Q 学习策略选择一个层。它的奖励是用质量与延迟、成本和热损失进行交换，再加上设备上执行的局部性奖励。我表明这个奖励是热感知路由的先决条件：没有它，最佳策略会卸载每个查询。在 210 个提示的真实 Android 基准测试中，学习路由器以任何自适应条件的最低成本获得了比两个手动调整的启发式算法（配对 Wilcoxon，p < 0.02）更高的质量。始终在线设备条件与可服务查询上的每个查询质量相匹配，但速度慢三到六倍，并且在长查询上失败，因此路由在延迟、可靠性和覆盖范围上胜出，而不是在质量上胜出。据我所知，这是第一次使用设备上的热余量来在实际硬件上的不同功能的 LLM 推理层中进行选择。