用于掩蔽扩散语言模型的 CaRE 计算感知重掩蔽评估协议

arXiv:2607.24763v1 公告类型：新 摘要：掩蔽扩散语言模型（MDLM）正在迅速发展，但可靠解释其进展所需的评估标准却没有跟上。尽管 MDLM 与自回归语言模型具有竞争力，但最近的 7 篇重新掩码论文在不兼容的设置、不同的标称步数、指标和采样温度下进行评估，而没有共同控制这些因素，导致它们的策略排名在很大程度上无法比较，并且报告的收益是否反映了算法改进或评估工件仍然悬而未决。我们提出了 CaRE，一种计算感知评估框架，通过标准化功能评估 (NFE) 的实际数量、强制实施多指标报告和显式控制随机性来审核 MDLM 重新屏蔽策略。 CaRE 应用于 LLaDA-8B-Base 和 Dream-7B-Base 上 OpenWebText 和 LM1B 上 4 个随机性级别和 3 个步骤预算的 7 种重掩码策略，结果表明：(i) 温度解释了 MAUVE 方差的大部分，(ii) 计算匹配的比较颠倒了几个已发布的策略排名，(iii) 知情重掩码和随机揭码处于紧张状态，高熵重掩码将 MUVE 降低了256 个步长时为 0.296，unmask_temp=0.25 (p=0.020)。涵盖 12 个开放权重 MDLM（150M 到 8B 参数）的 CaRE 排行榜表明，这种交互方向适用于跨架构和规模。这些发现表明，当前的 MDLM 评估可以系统地将算法改进与计算和随机性的隐藏选择混为一谈。我们发布评估协议、实施和排行榜，以确保未来的重新屏蔽声明具有可重复性和可比性。