BlockLock：具有固定批量几何形状的可重复 LLM 推理

arXiv:2611.06977v1 公告类型：新摘要：可重现的 LLM 推理要求请求生成相同的输出，而不管批次中的其他请求如何。现有的解决方案以不同的方式为此付出代价：批量不变的内核限制每个运算符，并且使用固定形状解码（{我们的 CoRun 风格基线}）隔离预填充，放弃共享预填充计算和填充解码。我们提出了 BlockLock，它保持共享批量预填充并仅固定受保护请求的数字路径：它通过两种模式修复请求看到的几何形状：BlockLock-Rows 使用固定宽度的行并保留所有请求的批量解码； BlockLock-Pack 使用具有隔离虚拟段的终端锚定打包，然后提取受保护请求的 KV 状态以进行仅目标解码。根据规定的每次部署合同，两种模式都会在同伴发生变化时按位保留目标的输出。}在五个{dense}模型（Qwen3-8B/14B、Llama-3.1-8B-Instruct 和 Gemma-3-4B/12B-IT）和三个单 GPU 部署（NVIDIA A6000、A100 和 H100）中，我们在tinyBenchmarks 和tinyBenchmarks 上评估了我们的方法。 BFCL{;我们还包括在两个 NVIDIA A6000 GPU 上进行的初始张量并行实验。两种模式都在报告的测试中保留目标序列和 Top20-logit 位。} 在同等交付的工作量下，相对于 vLLM Batch-Invariant，{BlockLock-Rows} 将延迟减少了 53.5--55.0\%，并将吞吐量提高了 115.2--122.2\%；与批量不变内核相比，它不需要自定义内核实现，并且仅约束受保护的请求。