PolyGraph：用于自适应推测解码的平面缓冲 CUDA 图

arXiv:2610.23861v1 公告类型：新摘要：自适应推测解码将活动批量大小 B 和草稿长度 d 从一个解码步骤更改为下一个解码步骤，而 CUDA Graph 则重播固定的启动配置。由此产生的验证宽度 M = B d 迫使服务系统预先捕获许多形状，捕获服务路径上的新形状，或将每一步填充到最大草图。我们提出了 PolyGraph，一种用于定制 Triton 内核的计划缓冲机制，可以避免这种选择。 PolyGraph 捕获一个最大网格图，并在每次重放之前将活动形状写入 GPU 内存。内核会跳过超出该形状的图块，而图形拓扑、分配、布局、指针和启动网格保持固定；更新仅传输 28 个字节。在一台 NVIDIA H800 上，具有 Qwen2.5-3B 尺寸的跟踪驱动原型将 64 个形状特定的图形替换为一个图形，与观察到的步骤延迟中的加热基线相匹配（17.7 毫秒与 17.8 毫秒 P50），并将测量的预服务图形构建时间从 3,915 毫秒减少到 93 毫秒。固定吃水控制表明，好处来自于避免填充有效负载：在零填充浪费时，P99 与 MaxPad 的差异可以忽略不计，但在 100% 浪费时减少了 18.7%。我们的证据为自定义内核（而不是生产服务系统）建立了一种有界工作形状机制，并且仅限于一个 GPU 上的合成跟踪。