FAIR-Calib：用于扩散大语言模型训练后量化的前沿感知不稳定性重新加权校准

arXiv:2606.06547v1 公告类型：新 摘要：扩散大型语言模型 (dLLM) 迭代地完善令牌，但不可逆地提交它们，从而导致“稳定性滞后”，即使在编写后，早期决策仍然脆弱。我们发现，训练后量化（PTQ）错误很容易翻转写入前沿的这些边界决策，然后这些决策被永久锁定并放大。为了解决这个问题，我们提出了前沿感知不稳定性重新加权校准（FAIR-Calib），这是一个用于 dLLM 的两阶段 PTQ 框架。第一阶段探测全精度教师，以结合前沿命中和屏蔽阶段可靠性来估计先验位置。第二阶段通过最小化重新加权的隐藏状态 MSE 来执行离策略、分层校准，有效地优先保护脆弱的前沿状态，而不需要昂贵的端到端扩散部署。我们进一步从理论上证明我们的加权目标作为输出 KL 散度的替代指标是合理的。根据经验，FAIR-Calib 始终优于 LLaDA 和 Dream (W4A4) 上最先进的基线，显着减少了前沿决策翻转并抑制了不同基准的提交后不匹配。