LatentQuant：在 NVFP4 VAE 量化下保留面向策略的潜在合约

arXiv:2610.03959v1 公告类型：新 摘要：最近的世界动作模型 (WAM) 重用了预训练的视频 VAE，其编码器潜在直接调节下游动作策略。因此，量化不仅必须保持重建保真度，而且还必须保持冻结政策所预期的面向政策的潜在契约。直接 NVFP4 使 W4A4 量化误差得不到补偿，而联合量化感知训练 (QAT) 可以通过移动此表示来恢复重建。在 Wan2.1 上，联合 QAT 几乎与 FP32 VBench-7 相匹配（0.7403 比 0.7409），但 LIBERO 的成功率从 95.5% 下降到 10.5%。仅受控解码器实验表明，激活量化-反量化操作改变了重建信号和解码器雅可比行列式，重定向返回编码器的梯度并引起持续的潜在漂移。基于这种机制，我们引入了 LatentQuant，这是一个两阶段的 NVFP4 QAT 框架，它首先将量化编码器与其高精度对应物对齐，然后在适应解码器的同时冻结它。在 Wan2.1 和 Wan2.2 中，LatentQuant 保留了接近基线的控制和高重建质量，在 LIBERO 上实现了 95.75% 的成功，在 RoboTwin 上实现了 68.8% 的成功。在 NVIDIA B300 GPU 上，NVFP4 执行的端到端 VAE 加速比 BF16 cuDNN 提高了 1.17 倍至 1.26 倍。