置信门控分层法学硕士推理的可行性条件

摘要

arXiv:2611.05394v1 Announce Type: new Abstract: Tiered inference distributes large language model computation across a hierarchy of devices, from on-device and edge hardware to the datacenter, and is ...

and the signal condition model what that cascade cost architecture

2026-11-05 1 阅读约1分钟阅读 Sumit P. Ahuja

arXiv:2611.05394v1 公告类型：新摘要：分层推理将大型语言模型计算分布在从设备上和边缘硬件到数据中心的设备层次结构中，并且越来越多地作为实现更便宜、更低延迟和更私密服务的途径。大多数此类系统都会编排冻结的模型检查点，并且大多数系统会使用前向部署模型产生的置信信号来决定要在本地解决什么问题以及要升级什么问题。我们给出了一个封闭形式的条件，即当该信号上没有阈值时，相对于将每个查询发送到后备器而言，分层级联值得。将路由决策建模为二元测试，并通过架构成本比 $\kappa$ 将本地成本与升级成本分开，我们得出了由无信号下限包围的可行性条件，低于该下限，级联在任何信号质量下都是可行的，以及完美信号上限，高于该上限则不可行。沿着 $\kappa$ 轴阅读条件反转：在本地计算计费的地方，成本绑定，与最近的经验发现相匹配；在分散的硬件上，可行性变得无条件，而信号质量决定了级联所实现的目标。我们将这个条件转化为现有的训练基元只能单独满足的三个设计要求，并且我们建议作为未来的工作，共同设计的架构和测试它的协议。条件和反转独立于该架构；它们是该论文的贡献。

订阅66必读