TRACE：用于高效通信的分布式边缘推理的变压器剩余激活码本编码

arXiv:2610.22435v1 公告类型：新 摘要：跨共置边缘设备的分布式变压器推理从根本上来说是受通信限制的，因为序列并行分区之间的激活交换主导着商品边缘带宽下的推理延迟。现有的压缩方案降低了这种成本，但保留了一个结构瓶颈：接收到的数据仍然必须经过键/值投影，然后才能继续进行关注，在通信后面串行化计算。本文提出了 Transformer 残留激活码本编码 (Trace)，这是一个解决这些限制的框架。 Trace 将向量量化器 (VQ) 放置在每个 Transformer 层的后注意力残差处，并预先计算码本索引的键/值表示。在推理过程中，交换的激活被编码为紧凑的码本索引，允许接收者通过查表直接恢复键和值，而不是执行导出它们所需的下游计算。通过消除接收到的数据下游计算，Trace 实现了通信计算重叠，并减少了分布式 Transformer 推理中的关键延迟瓶颈。分层聚类进一步将学习的码本构建为多分辨率分层结构，从而无需重新训练即可实现通信比特率的运行时自适应。该框架支持两种操作变体：一种优先考虑准确性，另一种通过缓冲区兼容的量化来平衡准确性和效率。在 ViT-Base（ImageNet-1K 和 CIFAR-100）和 ViViT-B（UCF-101）上的实验表明，与最先进的基于 VQ 的分布式推理框架相比，Trace 的准确度提高了 1.89%，端到端推理速度提高了 1.27 倍。与未压缩的序列并行推理相比，Trace 减少了高达 22,624 倍的通信开销。